Каниа Алексеевич Кан 
Нейронный сети. Эволюция 


НЕЙРОННЫЕ СЕТИ 
ЭВОЛЮЦИЯ 


‚1+х2—01,2+х5*01.,5 (хз) 11 
„хо м2 2х2 5 = 222) З "ә 


21,2 1,5 


м2,.2 м2,5 


2'1"01.,1+2'2*42,1. 
е2901;2+02"02,2 


є1"01.,5+22"42,5 


Сап!а Сап о / 


ЅеІ#РоБ; 2018 
Аннотация 


Эта книга предназначена для всех, кто хочет разобраться в том, как устроены 
нейронные сети. Для тех читателей, кто хочет сам научиться программировать 
нейронные сети, без использования специализированных библиотек машинного обучения. 
Книга предоставляет возможность с нуля разобраться в сути работы искусственных 
нейронов и нейронных сетей, математических идей, лежащих в их основе, где от вас не 


требуется никаких специальных знаний, не выходящих за пределы школьного курса в 
области математики. 


Пролог 


Технология искусственных нейронных сетей 


С течением времени, по сегодняшний день, человечество сделало не мало для того 
чтоб приспособится самому и приспособить окружающий мир под себя. Было сделано 
немало научных открытий, инженерных изобретений, на основе которых создавались целые 
отрасли промышленности (машиностроение, энергетика, цифровые технологии и т.д.), 
которые значительно облегчили жизнь людей. 

Но двигаясь вперед, все более актуален вопрос эффективного управления созданным 
хозяйством. Сегодня, для того чтобы человечеству хватило ресурса для освоения нового и 
развития уже созданного, требуется новые технологии, которые могли бы справиться с 
поставленной задачей более эффективно, значительно облегчая и даже заменяя труд людей. 

Одной из таких технологий призвана стать — технология искусственных нейронных 
сетей, идея которой заключается в том, чтобы максимально близко смоделировать работу 
человеческой нейронной системы, так же эффективно обучаться и исправлять ошибки. 
Можно сказать, что главная особенность ИНС -— способность самостоятельно обучаться и 
действуя на основании предыдущего опыта, с каждым разом делать все меньше ошибок. 

Как пример применения ИНС, можно привести сферу охранного видеонаблюдения — 
где система искусственных нейронных сетей распознаёт присутствие людей в ненадлежащих 
зонах, забытые вещи, идентифицируя по лицу личность человека, отпечаткам пальцев и т.д. 
Ну а об автопилоте в автомобиле думаю наслышаны все, уже сегодня они колесят на 
просторах дорог в разных странах, пускай хоть и пока в качестве эксперимента, но это уже 
реальность! Конечно же, это далеко не всё чем ограничиваются искусственные нейронные 
сети. Их возможности поистине безграничны. Многие эксперты в сфере технологий, 
называют технологию ИНС – одной из ключевых технологий будущего. 


Введение 


Цель книги. Для кого она предназначена 


Цель книги — объяснить, как устроены и работают нейронные сети, на простом и 
понятном, даже для школьника старших классов, языке! 

Эта книга предназначена для всех, кто хочет разобраться в том, как устроены 
нейронные сети. Для тех читателей, кто хочет сам научиться программировать нейронные 
сети, без использования специализированных библиотек машинного обучения. 

Книга предоставляет возможность с нуля разобраться в сути работы искусственных 
нейронов и нейронных сетей, математических идей, лежащих в их основе, где от вас не 
требуется никаких специальных знаний в области математики, не выходящих за пределы 
школьного курса. 

Для улучшения восприятия информации, в книге сознательно избегается терминология, 
как например — персептроны, конволюция и так далее, так как приоритетом в данной книге 
является понимание принципа работы искусственных нейронных сетей, а не заучивание 
терминов. 


Что мы будем делать 


Самым разумным подходом для понимания развития технологии искусственных 
нейронных сетей, будет её биологическая интерпретация. Которая конечно же, в этой книге, 
не будет претендовать на историческую достоверность. 

Мы будем представлять рождение и изменение искусственных нейронов и их 
взаимодействие между собой — по аналогии с эволюцией биологических видов. Как и в 
природе, движение от простейших организмов к более сложным, мы начнем с рождения 


простейшего искусственного нейрона (с одним входом и выходом), используя для его работы 
(жизнедеятельности), простейший математический аппарат. 

В дальнейшем, задачи, которые должен решать искусственный нейрон, будут 
становится сложнее. Для их решения нам потребуется эволюционировать наш созданный 
нейрон. Добавляя новые входы, или убирая ненужные, наподобие того, как это происходит в 
живой природе (например – отрастание или отмирание некоторых частей тела), вместе с тем 
модифицируя его математический аппарат. 

Вносить изменения будем не кардинальные, опираясь на старые компоненты, будем 
постепенно, лишь слегка их модифицировать. Тем самым, действуя похожим образом как в 
реальных условиях, сама природа. 

В процессе такой эволюции, созданные нами нейроны, научатся взаимодействовать 
между собой, объединяясь в сети. 


Как мы будем это делать 


Все сказанное будет подкрепляться теорией. Сначала на простейших принципах 
линейной функции, создадим наш первый искусственный нейрон. Подтвердим практически 
его работу — на языке Руфоп выполним задачу по классификации, обучим наш нейрон, в 
результате чего, он самостоятельно проанализирует данные и классифицирует их. Тем 
самым максимально автоматизируя процесс классификации. Более того, подавая на вход 
обученного нейрона новые данные, которые он еше не видел, получим на выходе — верный 
ответ. Это будет наш первый искусственный интеллект! 

Цифровой мир и живая природа очень многообразна. Для выживания в ней, 
необходима наилучшая приспособляемость к окружающей среде. В живой природе виды 
эволюционируют, в результате чего приобретают новые навыки и способности для 
выживания. Так же, когда нашему нейрону потребуется решать задачи, на решение которых, 
на текущем этапе своей эволюции, он не способен, то для его выживания в цифровом мире, 
ему тоже будут необходимы новые навыки. Осваивая новые математические принципы, 
лежащую в основе работы нашего будущего нейрона, мы будем на их основе его немного 
модифицировать. 

Ну и конечно же, подкрепим всё практикой. Разработанные нами алгоритмы, будем 
применят на языке программирования — Ру(ћоп. Так как, новые математические алгоритмы — 
модификация предыдущих, то и здесь пойдем по пуги постепенного изменения кода. В 
следствие внесения необходимых изменений в предыдущую программу на Руоп, и 
выполнив её, убедимся, что наш нейрон стал еше лучше выполнять предыдущие задачи, или 
вовсе приобрел способности к выполнению новых. В результате выполнения одной из таких 
программ, наш обученный нейрон сможет распознавать рукописные цифры! А это уже 
серьезно! 

Все примеры, которые будут реализованы в Руһоп, можно без труда скачать по 
следующей ссылке: 

ћерѕ://о1ћиб.сопуСатаСап/ пеига таз ег 

В дальнейшем, мы не раз повторим процесс эволюции к нашему искусственному 
нейрону. Добавим к нему множество входов и выходов, попутно добавим в его структуру 
условие — функцию активации. Соответственно узнаем, что такое функции активации, 
реализуем самые распространённые из них, такие как — единичная функция, сигмоида, 
КЕГО, гиперболический тангенс, Ѕоћтах. 

Следующим этапом нашей эволюции, будет взаимодействие нейронов. Научим их 
общаться между собой. Или говоря иными словами — объединим в сети. Что в свою очередь, 
потребует новых навыков и знаний. Словом, теперь мы станем называть нейроны 
участвующие в её “жизнедеятельности”, нейронной сетью. 

На основе таких сетей, на Рићоп, напишем программу, способную распознавать 
рукописные цифры из большой базы данных — 60000 примеров рукописных цифр. 


И наконец, мы создадим свёрточную нейронную сеть, и научим еб, на той же базе, 
распознавать рукописные цифры. 


ГЛАВА 1 
Основа для создания искусственного нейрона 
Где используются нейронные сети 


Современные вычислительные машины выполняют математические операции с 
огромной скоростью. Решения различных арифметических и логических операций с числами 
— суть работы любого компьютера. 

Сложение чисел с очень большой скоростью – это огромное преимущество компьютера 
над мозгом человека. Сложение больших чисел у человека вызывает затруднение, не говоря 
о скорости их вычисления. 

Но есть задачи, с которыми наш мозг справляется куда эффективнее любого 
компьютера. Если мы взглянем на изображение ниже, то легко можем распознать что на нем 
изображено: 


Вы без труда узнаете, что изображено на картинке, так как наш мозг идеальное 
средство для анализа изображения и его классификации. А вот компьютеру, напротив, очень 
трудно решать подобные задачи. 

Но мы можем использовать вычислительные ресурсы современных компьютеров для 
моделирования работы мозга человека – искусственной нейронной сети. 


Как устроены биологические нейронные сети 


Что такое биологический нейрон и нейронные сети? У нас с вами и многих животных 
есть мозг. Мозг в свою очередь представляет собой сложную биологическую нейронную 
сеть, которая принимает информацию от органов чувств и обрабатывает её (распознавание 
слуховой и зрительной информации, распознавание вкуса, тактильных ощущений и т.д.). 

Строение биологического нейрона: 
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Собственно, эту биологическую модель нейрона мы и будем моделировать. А точнее 
нам понадобится смоделировать некую структуру, которая принимает на вход сигнал 
(дендрит), преобразовать этот сигнал по типу — как это происходит в биологическом 
нейроне, и передать преобразованный сигнал на выход (аксон). 

Искусственный нейрон -— математическая модель биологического нейрона. 


Модель искусственного нейрона (слева — биологический нейрон, справа — 
искусственный): 
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Наш мозг, как и любая биологическая нейронная сеть, состоит из множества нейронов. 
В человеческом головном мозге насчитывается более 80 миллиардов нейронов, у 
каждого из который тысячи входов и выходов, и каждый из них соединен с входами других 
нейронов. И такую модель, в ограниченных объёмах, мы тоже с успехом можем упростить. 
Переход к модели искусственных нейронных сетей: 


Упрощение 


Уровень вычислительной мощности для моделирования ИНС 


Мы уже знаем, что в мозге человека более 80 миллиардов нейронов, у каждого из 
который тысячи входов и каждый из них соединен с выходами других нейронов. 

Смоделировать такой объём нейронов и количество их связей, мы на сегодняшний день 
не сможем. Но, мы можем упростить модель работы мозга, правда в гораздо меньших 
объёмах. Уровень вычислительной мощности современных компьютеров, при 
моделировании биологических нейронных сетей, как можно видеть на слайде ниже, 
немногим выше обычной пиявки. 

Насколько сильно мы уменьшаем количество нейронов и связей по сравнению с 
человеческим мозгом: 
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Как видите, до человека еще достаточно далеко. Но и этого объёма, что будет доступен, 
будет вполне достаточно для наших задач. 


Почему работают нейронные сети 


Весь секрет работы нейронных сетей заключается в работе синапсов, которые вы 
можете видеть на изображении биологического нейрона: 
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Синапсы — место стыка выхода одного нейрона и входа другого, где происходит 
усиление и ослабление сигнала. В усилении и ослаблении сигнала и происходит вся суть 
работы и обучения нейронных сетей. Если при обучении правильно подобрать параметры в 
синапсах, то входной сигнал, после прохода через нейронную сеть, будет преобразовываться 
в верный сигнал на выходе. 

Все выше сказанное сейчас для вас представляется, лишь теоретической абстракцией и 
без практики очень трудным к осмыслению, но мы все разберем по полочкам — всю суть 
работы этого механизма. Действительно, на данном этапе невозможно понять, как работает 
нейрон, в чем смысл ослабления и усиления сигналов в синапсах, но информация, которую 
мы получили поможет нам в будущем, когда будем разбираться, что же всё-таки происходит 
внутри нейрона и нейронных сетях. 


Как автоматизировать работу 


Наверняка, многим из нас, порой до чёртиков, надоедало повторять одни и те же 
действия на работе или учёбе. В этот момент кажется, что ничего не может быть хуже 
каждодневной рутины. 

Давайте включим воображение и представим себя офисным работником. Суть нашей 
работы — классификация данных на два вида. Каждый день, нам приходит список с данными, 
где может содержаться более 1000 позиций, которые мы самостоятельно должны отделить 
друг от друга, на основании чего сказать — какой из двух видов стоит за определенной 
позицией. 

Итак, мы пришли на работу и видим на столе очередной список с данными, которые мы 
должны как можно быстрей классифицировать. А браться за работу, ох как неохота. Эх, если 
бы работа умела сама себя делать... 

А ведь это мысль! Что если создать такую программу, которая многое из наших 
вакантных обязанностей, брала на себя. Сама с большой точностью, классифицировала 


загружаемые в неё данные. 

Всё это кажется фантастикой, но всё же реализуемо. 

Логичней всего в первую очередь подумать, как это сделать с точки зрения математики. 
Ведь используя строгую математическую логику, мы поймём, как нам действовать, и 
добьёмся точных данных на выходе программы. 

Ну как в любом начинании, нужно начать с самого простого. 

Когда то, в младших классах, на уроке математики мы проходили линейную функцию: 


у = Ах + Ь 
Что если сделать так, что на числовых координатах, все данные которые будут 
находится выше линейной функции, будут принадлежать к одному классу, а ниже к другому. 


То есть функция прямой будет служить нам как классификатор. 
Давайте покажем вышесказанное на слайде: 


9 


К.ласс №2. 


Отлично! Теперь осталось вспомнить что представляет из себя линейная функция. 
Линейная классификация 
Вспоминая школьный курс математики, из которого нам должно быть известно, что 
коэффициент А , в уравнении прямой, отвечает за её наклон. Чем больше значение 
коэффициента А , тем больше крутизна наклона линии. А коэффициент Ь – отвечает за 


точку начала координат по оси У, через которую проходит прямая. 


Раз мы еще толком не знаем, как будем действовать, давайте максимально всё 


упрощать. Будем считать, что прямая проходит через начало координат и соответственно 
параметр прямой Ъ , обратим в ноль: = 0. Тогда окончательное выражение нашей 
разделительной линии, станет еще более простым: 


у = Ах 

Пусть нашим заданием будет — классифицировать два вида животных, определенной 
возрастной группы, в два дня от роду, по размеру их тела — высоте и длине. 

Для начала, подберем всего две выборки, которые разительно отличаются друг от 


друга: 


Пример№ Высота Длинна 
РР ИА 


иж Е 


Примем зах — значение длины, аза у — значения высоты. Визуализируем эти данные 
на числовой прямой: 


Высоила 


Длина 


Нужно придумать как разделить эти два вида линейной функцией. Попробуем мыслить 
последовательно. 

Для начала, попробуем разделить наши данные случайной разделительной линией. Для 
этого примем значение коэффициента крутизны любым случайным числом, пусть А = 0,4. 
Тогда наше уравнение разделительной линии примет вид – у = 0,4х. 


Высоила 


О Жираф 


Крокодил = 0,4. 
Ф. А 


10 


Длина 


Как следует из графика, линия – у = 0,4 х, не отделяет один вид от другого. Для 
выполнения условия, её необходимо поднять выше. Для этого нам потребуется выработать 
последовательность команд и математические правила. Говоря иными словами, проработать 
алгоритм, когда при подаче данных из нашей таблицы (длины и ширины видов животных), в 
конечном итоге разделительная линия будет четко разделять эти два вида. 


Теперь давайте протестируем нашу функцию на первом тренировочном примере, 
соответствующему виду крокодила, где: высота крокодила - 20, длина - 40. Не важно в чем 
будем измерять, в какой метрической системе. Самое близкое по условию это сантиметры. 
Но будем считать, что измеряем в условных единицах. Возьмём пример, где х=40 
(длинна=40), и подставив в него значение нашего коэффициента А = 0,4 , получим 
следующий результат: 


у= Ах = (0,4) * (40) =16 

На выходе получили значение высоты у = 16 , а верный ответ у =20. 

Для того чтоб исправить положение и приподнять нашу линию, введем понятие 
ошибки Е , с помощью следующей формулы: 

Е = целевое значение из таблицы — фактический результат 

Следуя этой формуле: 


Е = 20-16 =4 


Теперь давайте приподнимем нашу линию на 4 пункта выше и отобразим это на 
графике: 


Высоила 


ре О Жираф 


Оилибка 
Е = 20 — 16 = 4 


Целевое значение из плаблииы 
у =20 


Крокодил 


Расчеилное значение 
у = О.4х 


Длина 


Ну и тут, как мы можем наблюдать, наша линия проходит через точку определяющую 
вид — крокодил, а нам надо чтобы линия лежала выше. 


Решается эта проблема очень легко, давайте примем наши целевые значение чуть 


больше, положим высоту у = 21 , вместо у = 20. И снова пересчитаем ошибку с новыми 
параметрами: 


Е=21-16= 5 


Отобразим новый результат на координатах: 


Высорла 


м О Жираф 


50 Е = 21 -16=5 


Целевое значение 


у= 21 


Расчеилное значение 
55 Ч = О.4х 


Длина 


В итоге имеем новую прямую с новым значением коэффициента крутизны. Найдя этот 
коэффициент, мы как раз и сможем построить нужную нам прямую, на всех значениях оси х 
(длины). 

Для этого нам необходимо через наше значение ошибки Е , найти искомое изменения 
коэффициента А . Чтоб это сделать, нам нужно знать, как эти две величины связаны между 
собой, тогда мы бы знали, как изменение одной величины влияет на другую. 

Начнем с линейной функции: 

у = Ах 

Обозначим переменной Т — целевое значение (наше значение из таблицы). Если 
ввести в искомый коэффициент А , такую поправку как: А+ЛА = искомое А. 

Тогда целевое значение можно определить, как: 

Т =(А+ ЛлАх 

Отобразим последнее соотношение на графике: 


Высоила 


Подставим эти значения в формулу ошибки Е =Т-у: 


Е =Т-у= (А +ЛА)х- Ах = Ах + (ЛА) х- Ах = (ЛА)х 
Е = (ЛА)х 


Теперь зная, как ошибка Е связана с ЛА , нетрудно выяснить что: 


ЛА =Е/х 

Отлично! Теперь мы можем использовать ошибку Е для изменения наклона 
классифицирующей линии на величину ЛА в нужную сторону. 

Давайте сделаем это! При х = 40 и коэффициенте А = 0,4 , ошибка Е = 5 , попробуем 
найти величину ЛА : 

ДА = Е/х=5 / 40 = 0,125 

Обновим наше начальное значение А : 

А = А+ ЛА = 0,4 +0,125 = 0,525 

Получается новое, улучшенное, значение коэффициента А = 0,525 . Можно проверить 
это угверждение, найдя расчетное значение у с новыми параметрами: 


у =Ах= 0,525 * 40 = 21 


В точку! 

Теперь давайте узнаем на сколько надо изменить коэффициент А , чтоб найти верный 
ответ, для второй выборки из таблицы видов — жираф. 

Целевые значения жирафа — высота у = 40 , длина х = 20 . Для того чтобы, 
разделительная линия не проходила через точку с параметрами жирафа, нам необходимо 
уменьшить целевое значение на единицу – у = 39. 


Подставляем х = 20 в линейную функцию, в которой теперь используется 
обновленное значение А=0,525 : 

у= Ах =0,525 * 20 = 10,5 

Значение – у = 10,5 , далеко от значения у = 39. 

Ну и давайте снова предпримем все те действия, что делали для нахождения 
параметров разделяющей линии в первом примере, только уже для второго значения из 
нашей таблицы. 

Е= Т - у =39- 10,5 = 28,5 


Теперь параметр ЛА примет следующее значение: 

ЛА = Е/х = 28,5 / 20 = 1,425 

Обновим коэффициент крутизны А : 

А = А+ ЛА = 0,525 +1,425 = 1,95 

Получим обновленный ответ: 

у =Ах= 1,95 * 20 = 39 

То есть, при х = 20, А = 1,95 иЛА = 1,425 – функция возвращает в качестве ответа 


значение 39 , которое и является желаемым целевым значением. 
Представим все наши действия на графике: 


Высоила 
Жира 
Р Ф << Окончательное значение 
40 
Ч = 1.95х 
50 


Уилочненное значение 
у= Ах = 0.525х 


20 < С) Крокодил 


ү 


Начальное значение. 
Ч = О.4х 


о Длина 


Теперь МЫ наблюдаем, что линия разделила два вида, исходя из табличных значений. 
Но полученная нами разделяющая линия лежит гораздо выше её воображаемого центра, к 
которому мы стремимся: 


Высора 


Жир аф Окончаилельное значение 
ие СЭ > 
у = 1.95Х 
и Воображаемый 
РА ценил 
и р 
50 „ г 
„ Уилочненное значение 
2 & у = Ах = О.5х 
“ 
Крокодил 
’ 
/ % 
/ Начальное значение 
РРА 4 Ч = О.Ах 
Р 
и“ 
4, б 20 зо 40 
о Длина 


Но и это легко поправимо. Мы добьемся желаемого результата сглаживая обновления, 
через специальный коэффициент сглаживания – Г. , который часто называют как — скорость 
обучения. 

Суть идеи: что каждый раз обновляя А , мы будем использовать лишь некоторую долю 
этого обновления. За счет чего, с каждым тренировочным примером, мы мелкими шагами 
будем двигаться в нужную нам сторону, и в конечном результате остановимся около 
воображаемой прямой по центру. 

Давайте сделаем такой перерасчет: 

ЛА = 1 *(Е/Х) 

Выберем Г, =0,5 в качестве начального приближения. То есть, мы будем использовать 
поправку вдвое меньшей величины, чем без сглаживания. 

Повторим все расчеты, используя начальное значение А=0,4 . Первый тренировочный 
пример дает нам у =Ах = О.4 * 40 = 16 . Прих = 40 и коэффициенте А = 0,4 , ошибка Е = Т 
—у=21 – 16 =5. Чтобы график прямой, не проходил через точку с нашими координатами, а 
проходил выше её, то принимаем целевое значение- Т = 21. 

Рассчитаем поправку: ЛА =Г, (Е /х) = 0,5*(5 / 40) = 0,0625 . Обновленное значение: 
А= А +ЛА = 0,4+0,0625= 0,4625. 

Сглаженное уточнение: у = Ах = 0,4625 * 40 = 18,5. 

Теперь перейдем к расчетам следующего тренировочного примера. 

Используя обновлённое на первом прогоне значение А , для второго тренировочного 
примерау = Ах = О,4625 * 20 = 9,25. 

Значение, у = 9,25 – всё так же далеки от значения у 
в нужном направлении, но уже с меньшой скоростью. 

Прих = 20 и коэффициенте А = 0, 4625 , ошибкаЕ = Т - у =39- 9,25 = 29,75. 
Так как мы хотим, чтобы график прямой, не проходил через точку с нашими координатами, а 
проходил ниже её, то принимаем целевое значение – Т = 39 . Рассчитаем поправку ЛА = І, (Е 


39 , но мы все равно движемся 


[ х) = 0,5*(29,75 / 20) = 0,74375 . Обновлённое значение А = А + ЛА = 0,4625+ 0,74375 = 
1,20625 . 

Сглаженное уточнение у = = Ах = 1,20625 * 20 = 24,125. 

Теперь еще раз отобразим на координатной диаграмме, начальный, улучшенный и 
окончательный варианты разделительной линии: 


Высоила 
с" Вилорое сглаженное значение 
40 
Ч = 1.2062.5х 
ы Первое сглаженное значение 
Ч = 0.4 62.5х 
20 Г) Крокодил 
“начальное значение. 
= Ох 
20 И = 
= 20 50 40 
г Длина 


Можно убедиться в том, что сглаживание обновлений приводит к более 
удовлетворительному расположению разделительной линии. 

Если еше уменьшить скорость обучения І, и повторить расчеты с первым и вторым 
обучающим примером, то в итоге наша разделительная линия окажется очень близко к 
воображаемой линии. 

Применяя способ уменьшение величины обновлений с помощью коэффициента 
скорости обучения, ни один из пройденных тренировочных примеров, не будет 
доминировать в процессе обучения. 


ГЛАВА 2 
Изучаем Руоп 
В этой главе мы будем создавать собственные нейронные сети. Сначала создадим 


модель работы искусственного нейрона, а затем научимся моделировать сеть из множества 
нейронов. 


Создаем нейронную сеть на Руйоп 


При моделировании нейронных сетей, мы будем использовать язык программирования 
Ру(ћоп. 

Почему РуФоп? Он очень прост в освоении, кроме того, нейронные сети создают и 
обучают в основном на этом языке. Кроме того, Руһоп очень популярный и 
распространённый язык программирования. 

О Руфоп, можно рассказывать долго и много, но мы будем изучать РуФоп лишь в том 
объеме, который необходим для достижения нашей цели — изучить работу нейронных сетей. 


Установка пакета Апасопда Рућоп 


Посетите сайт — Һір://ууүуүу.сопіпиит.іо/Ӣоуупіоайѕ, на котором предлагаются 
различные варианты установки Апасопда Ру оп. Я использую пакет Апасопда, для 
операционной системы Міпӣоуѕ, вы можете выбрать другие варианты — ОЗ Х или пих. 
Пакет Апасопда предоставляет удобное средство интерактивной разработки аруег 
МоеБоок, в котором необычайно удобно писать и проверять программный код. На момент 
написания книги, доступен пакет Апасопда 5.0.1, и Руфоп 3.6 — который и рекомендую 
установить. 


= | Р АЕ 
58 үліпаомѕ % тасо$ № пих 


Апасопаа 5.01 Рог М/іпаомѕ Іпѕїаїег 


Ру{Поп 3.6 уегѕіоп ‘ Ру{Поп 2.7 мегѕіоп ° 
+ Оомпіоаа + Оомтіоаа 
64-Ви бгарћіса! Іпѕїіаег (515 МВ) 64-Ви Сгарћіса! Іпѕїаіег (500 МВ) 
32-Ви Сгарћіса! Іпстаіег (420 МВ} 32-Ви Сгарһіса! 1пзта!ег (403 МВ) 


Если, к тому времени, когда вы посетите сайт, все будет выглядеть иначе, не пугайтесь, 
сути дела это не поменяет. 


Простое введение в Рупоп 


После установки пакета Апасопда, запустите интерактивную оболочку Јируіег 
МоеБооК, нажмите на кнопку М№\ у правого края окна и выберите в открывшемся меню 
пункт Ру#оп 3, что приведет к открытию пустого блокнота: 


к Јируќѓег Опійеа газ Спескроїпі: а {ему зесопз адо (ипзауе4 сһапдез) ё. 1 одоші 
Ре Еай Мем іпѕеп Се Кетеі Мадеіѕ Неір Тгиѕіедӣ + | Рућоп зо 


+ а Б лу И Ш С сое "|з 


ғ | 
Іп [ ]: | 


Переменные 


В переменных всегда что-то хранится (число, объекты, символы, строки). Попробуем 
создать переменную х со значением 20. И выведем это значение, на экран, при помощи 
функции — ри. Функция рип) – выводит на консоль то, что расположено между её 
скобками: 


їп [2]: |х = 2 
рпіпї(х) 


20 


С переменными, которые хранят числа, можно выполнять различные простейшие 
действия: складывать, вычитать, умножать, делить и возводить в степень: 


ргіпї (х + у) #Сумма 

ргіпї (х - у) #Разность 

ргіпї (х * у) #Произведение 

ргіпї (х / у) #Деление 

ргіпїі (х ** у) #**Возведение В степень 

ргіпї (х // у) #//показывает В данном примере, сколько троек 8 пятёрке 
ргіпї (х 7 у) #%Возбращает остаток от деления 


15 
1.6666666666666667 
125 

1 

2 


Справа от функции ргіпќ(), вы можете видеть комментарии. Делаются они очень просто, 
для этого, перед комментарием, необходимо поставить знак #, и текст после этого знака, в 
данной строке, Руѓіпоп будет воспринимать, не как программный код, а как обычную 
текстовую область. 

Кроме числовых переменных есть ещё строковые, с которыми мы тоже можем 
проделать ряд действий: 


пате_дие5{1оп = "Как вас зовут?” 
ту паме = "\пМоё имя: \пСапіа Сап" 


ргіпі (пате_диез1оп, ту пате) 


Как вас зовут? 
Моё имя: 
Сап1а Сап 


пит 1 = 51г (21) #5" приводит переменную к строковому типу 
пит 2 = 5г (22) #51ғ приводит переменную к строковому типу 

геѕ = пит 1 + пит_2 #8 этом случае произойдет объединение строк 
ргіп (геѕ, +уре(геѕ)) #Функция Туре() Возвращает тип переменной 
пит 1 = іпі ("21") #1пё приводит переменную к целому к числу 
пит 2 = 11 ("21") #11 приводит переменную к целому к числу 

ге$ = пим 1 + пит 2 

ргіпі (геѕ, +уре(геѕ)) 


2122 <с1аѕ5 '51г'> 
42 <с1аѕѕ5 'іпі'> 


Функции 


Иногда возникает необходимость повторять одни и те же действия, в ходе написания 
программы, по многу раз. Облегчить наш труд в подобной ситуации, призваны функции. 

Давайте представим, что нам очень часто встречается одно и то же действие, а именно 
сумма двух различных переменных. Написав эту функцию в отдельном модуле, мы в 
последующем можем обращаться к ней, не переписывав одни и те же действия, по многу раз. 
Притом функция может возвращать какое-то значение, а может просто выполнить своё 
действие, например, вывод на консоль информации, при этом ничего не вернув. 

Функция — отдельный блок кода, который можно вызывать по её имени из любого 
места программы: 


4е# Ғипс ѕит (х, а): 

геѕ = х + а 

гецгп ге #гефигпл - означает что функция Возвращает какое то значение 
а = Ғипс зим (20, 12) 
ргіпі (а) 


32 


ае Ғипс (): 

х = 34 

у = 45 

=х+у 

ргіпї("Эта функция ничего не возвращает") 

ра55 #2455 - означает что функция ничего не возвращает 
ргіпі (Фипс ()) 


Эта функция ничего не возвращает 
Мопе 


Условные операторы 


Условные операторы нужны для того, чтобы выполнить два разных набора действий в 
зависимости от того, истинно или ложно проверяемое ими утверждение. Иными словами - в 


зависимости от того, ложно или истинно утверждение, программа, как бы разветвляется, 
идет по пути, указанным ей этим условием. 


Условие 


Дейсилвие Дейсилвие 


Условия 


В Руфоп, условия записываются при помощью конструкции 1... @5е:... №- в переводе 
с английского — если, е15е переводится как — иначе. 

После ключевого слова 16 следует условие, которое им проверяется, если это условие 
правда, то выполняется тело этого оператора 1#, если ложно, то тело оператора 16 не 
выполнится. 


Давайте рассмотрим это на конкретном примере: 


Х = 15 
іҒ х < 16: 
ргіп( "Условие (х < 19) - выполнилось!") 


ргіпї ("Точка после условных операторов") 


Точка после условных операторов 


Здесь, как мы можем наблюдать, условие не выполнилось. 


Х = 15 
Чех 5-10: 

ргіпЕ( "Условие (х > 19) - выполнилось!") 
ргіпе("Точка после условных операторов”) 


Условие (х > 19) - выполнилось! 
Точка после условных операторов 


В этот случае, мы наблюдаем, что наше условие выполняется. 


Х = 15 
1х < 16: 
ргіпі ("Условие (х < 18) - выполнилось!") 


е15е: 
ргіпі( "Условие (х < 18) - не выполнилось!") 


ргіпі("Точка после условных операторов") 


Условие (х < 19) - не выполнилось! 
Точка после условных операторов 


В этом примере, где задействована вся конструкция 1Ё... езе:..., условие ЩЖесли) — не 
выполнено, но если не выполняется условие – 11, то тогда сработает условие — е1зе(иначе). 
Обратите внимание, в РуШоп все условия принадлежащее оператору, пишутся с 


определенным отступом! 


Массивы 


Массив можно представить в виде книжной полки, которая содержат сразу несколько 


книг(переменных). 
Пример массива, содержащего в себе числа и строку: 


агг = [5, 3, "строка" ] 
ргіпё (агг) 


[5, 3, "строка '] 


У массива есть такое понятие как индекс, например, по индексу ноль, массива атг, 
содержится элемент равный числу 5. А по индексу три, находится строка. Количеством 
индексов, определяется размер массива: 


агг = [5, 3, "строка" ] 
рг1п{( 1еп(агг) ) #еп - Возвращает кол-во элементов массива 


3 


Обращаясь к индексам элементов, как показано на слайде ниже, мы можем менять 


элемент, к адресу которого мы обратились (не забываем, что начало отсчета индексов в 
массиве, начинается с нуля): 


неняем элемент с индексом 1, который изначально был равен 3, на значение 19 
19 
рг1п*(агг) 


сч 


5 
> 
> 
— Ш 
- 
— 
Ш 


[5, 10, ‘строка '] 


Для работы с массивами, в наших проектах мы будем использовать пакет питру. 
питру — очень обширная библиотека, содержащая множество методов по работе с 
массивами. 


Для того чтоб воспользоваться этим инструментом нужно выполнить следующий код: 


1трогі питру 


Команда ітрогі сообщает Рућоп о необходимости привлечения дополнительных 
вычислительных ресурсов, для расширения круга уже имеющихся на его вооружении 
инструментов. 

Если мы выполним следующую команду: 


пирог питру аѕ пр 


Где, аѕ – префикс, позволяющий сокращать, или изменять имя пакета, указав 
сокращение пр (можно любое другое имя), мы избавляем себя от необходимости писать в 
программном коде полное имя пакета, т.е. говоря простым языком, заменим имя питру на 
сокращенное пр. 


Давайте создадим с помощью пакета питру, двухмерный массив (матрицу) с нулевыми 
элементами: 


1трог{ питру аѕ пр 
агг = пр.гего$( [2,3] 


ргіпё (агг) 
ГГ 6: :02: 9 
[ 8: 62: :0:7] 


В коде выше, пакет пштру используется для создания двухмерного массива 
размерностью 2х3, где 2 — количество строк массива, 3 — количество столбцов в массиве, и во 
всех ячейках данного массива содержатся нулевые значения. 

В массивах с несколькими измерениями, тоже можно изменять элементы, обратившись 
к их индексам (адресам элементов): 


агг [9,9] 
агг [9,1] 
агг [1,09] 
агг [1,2] 
ре1п(агг) 


аз д 39 
[ 9 


ин 
о м 


И 
Га" 
гае 


Срезы 


Срезы позволяют обрезать массив, взяв лишь те элементы, которые нам будут нужны. 
Они работают по следующей схеме: [НАЧАЛО:КОНЕЦ:ШАГ]. 

Начало – с какого элемента стоит начать (по умолчанию равна 0); 

Конец — по какой элемент мы берем элементы (по умолчанию равно длине списка); 

Шаг — с каким шагом берем элементы, к примеру, каждый 2 или каждый 3 (по 
умолчанию каждый 1). 


#Срезы 

ағг= [55 3, 19.-45;:7. 9, 8] 

ргіп('аһг ', агг) 

ргіп('[::2] ', агг [::2]) # Берем каждый 2й элемент 

ргіпї('"[2::2] ', агг [2::2]) # Начиная со 220 элемента, берем каждый 2й элемент 
ргіпі('[2:5:] ', агг [2:5:]) # Начиная с 2го элемента, берем Все элементы по 5й элемент 
ргіпе('[::1] ', агг [::]) # Берем все элементы 


агг [5, 3, 10, 15, 7, 9, 8] 
[::2] [5, 10, 7, 8] 

[2::2] [10, 7, 8] 

[2:5:] [16, 15, 7] 

[::] [5, 3, 10, 15, 7, 9, 8] 


А если, например, нам нужен второй элемент с обратной стороны массива, то мы 
можем обратится к нему следующим образом: 


ргіпі (агг [-2]) 


9 


Циклы 


Циклы, необходимы там, где требуется многократные повторения действий. Если, к 
примеру, мы хотим вывести таблицу квадратов первых четырёх натуральных чисел, то 
циклы в этом вопросе, будут незаменимыми помощниками. 

Когда мы попытаемся вывести квадраты чисел без циклов, то нам придётся выполнять 
все действия вручную, в нашем случае в 4 строки. 


рг1п* ("Квадрат от 1 = " + ѕ1г(1 ** 2)) 
рг1п{ ("Квадрат от 2 = " + $%г(2 ** 2)) 
рг1п ("Квадрат от 3 = " + $%г(3 ** 2)) 
рг1п* ("Квадрат от 4 = " + $1г(4 ** 2)) 
Квадрат от 1 = 1 
Квадрат от 2 = 4 
Квадрат от 3 = 9 
Квадрат от 4 = 16 


А если нам надо вывести квадраты первых 1000 чисел? Вводить 1000 строк? Нет, для 
таких случаев и существуют циклы. В Руіћоп есть два вида циклов: \НИе и Юг. 

Цикл жЇіШе повторяет необходимые команды до тех пор, пока остается истинным 
условие, задаваемое, как и в случае с 1, сразу после объявления оператора, как только 
условие выполнится, цикл прекратит свою работу. 

Давайте теперь, с помощью же, выведем таблицу квадратов первых четырёх 
натуральных чисел: 


Х = 1 

„ћі1е х <= 4: 
ргіпї( "Квадрат от " + ѕёг(х) + " = " + 51п(х**2)) 
х += 1 


Квадрат от 1 = 
Квадрат от 2 = 
Квадрат от 3 = 
Квадрат от 4 = 16 


оь њ 


Здорово, правда? Всего четырьмя строками кода, мы можем выводить квадраты чисел, 
до почти любого числа. 

Если подробней разобрать работу цикла: 

Сначала мы создаем переменную и присваиваем ей число 1. Затем создаем цикл уіће и 
проверяем, меньше, или равна четырем наша переменная х. Если меньше, или равна, то 
будут выполнятся следующие действия: 

— вывод на консоль квадрата переменной х; 

– в теле оператора, увеличиваем х на единицу, (запись: х+= 1, эквивалентна записи: х = 
х +1) 

После чего, программа возвращается к условию цикла. Если условие снова истинно, то 
мы снова выполняем эти два действия. И так до тех пор, пока х не станет больше 4. Тогда 
условие вернет ложь и цикл больше не будет выполняться. 

Цикл Юг будем использовать, в основном, для того, чтобы перебирать элементы 
массива, согласно его индексам. Запишем тот же пример, что и с ме, с квадратами первых 
шести натуральных чисел, используя цикл Юг: 


Фог.1 Зп [1.2.3 4; 5 Ө]: 
ргіпі(і ** 2) 


Конструкция Юг 1 Іп — создает цикл, организуя счетчик для каждого числа из списка 
массива, путем назначения текущего значения переменной 1. При первом проходе цикла 
выполняется присваивание 1=0, потом 1=1, 1=2, и так до тех пор, пока мы не дойдем до 
последнего элемента списка, которому присвоится значение 1=6. 

Применяя функцию гапее (), эту операцию можно сделать немногим иначе: 


фог і іп гапре(7): 
ргіпі(і ** 2) 


В данном примере, функция гапее () — задает последовательность счета натуральных 
чисел, до конечного значения, указанного в скобках. 


Классы и их объекты 


В реальной жизни мы чаше оперируем не переменными, а объектами. Стол, стул, 
человек, кошка, собака, корабль — это все объекты. Наилучший способ знакомства с 
объектами – это рассмотреть конкретный пример: 


# класс объектов Саї (кошка) 
сІаѕ5 Са: 
# Кошки говорят — “Мяу!” 
аеѓ ѕауѕ (зе: 

рпі (Мяу!) 

раѕѕ 
раѕѕ 


Запись с1аѕѕ Саї — означает что создан класс Саї (кошка), а функция еї ѕауѕ(), внутри 
класса — это метод класса Саї, который выполняет определенные действия связанные с этим 
классом. В нашем случае созданный нами метод ѕауѕ() выводит на экран – “Мяу!”. 

Давайте на примере покажем, как создаются объекты класса и работают его методы. 

сІаѕѕсаѓ = Саї () #создание объекта с1аззСаь класса Саїѓ 

сІаѕѕсаѓ.ѕауѕ () #использование метода ѕауѕ (), объекта сІаѕ5Саѓ 

Методов в классе может содержаться так много, насколько это необходимо, для его 


описания. Кошка помимо того, что может говорить: “Мяу!”, обладает и рядом других 
важных параметров. К ним относятся цвет шерсти, цвет глаз, кличка, и так далее. И все это, 
можно описать при помощи методов в классе. Давайте опишем выше сказанное в Ру#оп: 


# класс объектов Саі (кошка) 
с1аѕ5 Сат: 
# Кошки говорят - “Мяу!” 
де# ѕауѕ (5е1+): 
ргіпї ('Мяу!') 
раѕѕ 
раѕѕ 


сіаѕѕсаё = Саї() #создание объекта сіаѕѕса, класса Саї 
с1аѕѕсаё.ѕауѕ() #использование метода ѕауѕ (), объекта сіаѕѕсаї 


Мяу! 


Множеству объектов, можно присваивать одинаковый класс и эти объекты в свою 
очередь, будут обладать одинаковыми методами: 


# класс объектов Саї (кошка) 
с1а55 Саі: 
# Кошки говорят - “Мяу!” 
деф ѕауѕ (5е1+): 
рпіпі ('Мяу!') 
раѕѕ 
раѕѕ 


с1аѕѕсаё = Са*() #создание объекта сіаѕѕсаї, класса Саі 
ѕіат = Саї() #создание объекта тат, класса Саї 


с1аѕѕсаё.ѕауѕ() #использование метода ѕауѕ (), объекта сіаѕѕсаї+ 
ѕіат.ѕауѕ() #использование метода ѕауѕ (), объекта ѕіат 


Мяу! 
Мяу! 


Чтобы получить более полное представление о возможностях объектов, давайте 
добавим в наш класс переменные, которые будут хранить специфические данные этих 
объектов, а также методы, позволяющие просматривать и изменять эти данные: 


С1а$5 Саї: 
# метод для инициализации объекта внутренними данными 
дер 111 (5е1+, саёпате, уеаг$): 
5е1+.пате = са{пате 
521+.пит_уеаг$ = уеагѕ 


# получить состояние 
де# эфати$(зе1+): 
ргіпі( "Кличка кошки: ', $е1+.пате) 
рпіпї( ‘Количество лет кошки: ', ѕе1+#.пит уеагѕ) 
раѕѕ 


# Количество лет кошки 

де пимтбег о# угагѕ(ѕе1Ғ#, уеагѕ): 
5е1+.пит_уеаг$ = уеагѕ 
раѕѕ 


# Кошка говорит мяу 
деф ѕауѕ(ѕе1#Ғ): 
ргіпї('Мяу!') 
раѕѕ 
раѕѕ 


МигКа = Са+('Мигка', 8) #создание объекта Мигка, класса Саі 
# Узнаем статус объекта Мигка 
МигКа. ѕёаїиѕ() 


Кличка кошки: МигКа 
Количество лет кошки: 8 


Мигка.ѕауѕ() #использование метода ѕауѕ (), объекта Мигка 


Мяу! 


#Изменяем атрибут - количество лет, объетта Мигка 
Могка.питрег о# уеагѕ(9) 

# Узнаем статус с обновленными данными объекта Мигка 
МигКа.$тафи5() 


Кличка кошки: МигКа 
Количество лет кошки: 9 


Давайте разбираться что же мы тут написали. 

В любом классе можно определить функцию _ ши (). Эта функция всегда 
вызывается, когда мы создаем реальный объект класса, с изначально заданными атрибутами. 
Атрибуг — это переменная, которая относится к классу, в котором она определена. В нашем 
случае, при создании объекта, мы сразу можем указать его атрибуты — кличку и количество 


лет, которые сразу присваиваются этому объекту. Через созданный нами метод 5@15(), мы 
можем вывести информацию о количестве лет и кличке нашего объекта. Метод 
потбег оЁ уеагѕ (зе{, уеагѕ), принимает число и изменяет атрибут класса — количество лет. 
Метод ѕауѕ(), не изменился, он все также говорит голосом нашего объекта – ‘Мяу!’. 


ГЛАВА 3 
Рождение искусственного нейрона 
Моделирование нейрона как линейного классификатора 


Настало время практически реализовать линейную классификацию. Для этого в Рућоп 
смоделируем работу искусственного нейрона. Попробуем решить нашу задачу, найдя 
промежуточные значения, при заданном наборе входных и соответствующим им выходным 
(целевым) параметрам. Как мы помним -— это были высота и длина двух разных видов 
животных. Это может быть и любой другой условный набор данных, которые можно 
представить, как параметры размеров одежды, предметов, насекомых, веса, стоимости, 
градусов и любых других. Отобразим наше задание — список с параметрами двух видов 
животных: 


3,5 


ОИ УЕ ОИ 
О `` ЗИ 
Ва Ц 


В дальнейшем все данные, которые надо анализировать при помощи искусственных 
нейронов и их сетей, будем называть — обучающей выборкой . А процесс изменения 
коэффициентов, в нашем случае — коэффициент А , в зависимости от функции ошибки на 
выходе, будем называть — процессом обучения . 

Примем за значение х — длины животных, а У – высота. Так как У (игрек большое) 
— это и есть ответ: У = Ах , то условимся что он и будет целевым значением для нашего 
нейрона (правильным ответом), а входными данными будут все значения переменной х. 

Отобразим для лучшего представления входных данных, график обучающей выборки: 


Видно, что наши данные напоминают прямую линию, уравнение которой У ==2х. 
Данные находятся около значений этой функции, но не повторяют их. Задача нашего нейрон 
суметь с большой точностью провести эту прямую, несмотря на то, что данные по остальным 
точкам отсутствуют (например, нет данных о У координате с точкойсх =5). 

Смоделируем такую структуру, для чего подадим на вход нейрона (дендрит у 
биологического нейрона), значение х , и меняя коэффициент А (синапс у биологического 
нейрона), по правилам, которые мы вывели с линейным классификатором, будем получать 
выходные значения нейрона у (аксон у биологического нейрона). Так же условимся, что У 
(большое) — правильный ответ (целевое значение), ау (малое) ответ нейрона (его выход). 

Визуализируем структуру нейрона, которую будем моделировать: 


Изменяемый 


парамеилр Нейрон а А 
хо 


т 25 5 


Вход 
х 


Запрограммировав в Рућоп эту структуру, попробуем добиться прямой, которая 
максимально точно разделит входные параметры. 

Программа 

Действовать будем так же, как мы действовали, рассчитывая линейный классификатор. 

Создадим переменную А , являющейся коэффициентом крутизны наклона прямой, и 
зададим ей любое значение, пусть это будет всё те же А=0.4 . 

А = 0.4 

Запомним начальное значение коэффициента А: 

А _у15 = А 

Покажем функцию начальной прямой: 

ргіп'Начальная прямая: ', А, '* Х') 

Укажем значение скорости обучения: 

Ш = 0.001 


Зададим количество эпох: 
еросһѕ = 3000 


Эпоха — значение количества проходов по обучающей выборке. Если в нашей 
выборке девять наборов, то одна эпоха — это один проход в цикле всех девяти наборов 
данных. 

Зададим наш набор данных, используя массивы. Создадим два массива. В один массив 
поместим все входные данные – х ‚ав другой целевые значения (ответы) — У. 


Создадим массив входных данных х: 
аг х= [1, 2, 3, 3.5, 4, 6, 7.5, 8.5, 9] 


Создадим массив целевых значений (ответы Ү): 


агг_у = [2.4, 4.5, 5.5, 6.4, 8.5, 11.7, 16.1, 16.5, 18.3] 


Задаем в цикле эпох, вложенный цикл — Юг 1 іп гапее(ет(агг)), который будет 
последовательно пробегать по входным данным, от начала до конца. А циклом — Юге іп 
гапре(еросћѕ), мы как раз указываем количество таких пробегов (итераций): 


{ог е іп гапее(еросй$): 
Гог 1 ш гапое(Іеп(агг)): 


Функция Іеп(агг) возврашает длину массива, в нашем случае возвращает девять. 
Получаем х координату точки из массива входных значений х: 

х = агг х[ 1] 

А затем действуем как в случае с линейным классификатором: 


# Получить расчетную у, координату точки 

у=А * х 

# Получить целевую Ү, координату точки 

(агоеі Ү = агг у[1] 

# Ошибка Е = целевое значение — выход нейрона 

Е = агое_У —у 

# Меняем коэффициент при х, в соответствии с правилом А-+дельтаА = А 
А += І1%(Е/х) 


Напомню, процессом изменения коэффициентов в ходе выполнения цикла программы, 
называют — процессом обучения . 


Выведем результат после обучения: 
рии 'Готовая прямая: у = ', А, '* Х') 
Полный текст программы: 


# Инициализируем любым числом коэффициент крутизны наклона прямой 
А = 0.4 

А_У1$ = А # Запоминаем начальное значение крутизны наклона 

# Вывод данных начальной прямой 

ргіп'Начальная прямая: ', А, '* Х') 


# Скорость обучения 

|1 = 0.001 

# Зададим количество эпох 
еросћѕ = 3000 


# Создадим массив входных данных х 

ат х= [1, 2, 3, 3.5, 4, 6, 7.5, 8.5, 9] 

# Создадим массив целевых значений (ответы Ү) 
ат_у = [2.4, 4.5, 5.5, 6.4, 8.5, 11.7, 16.1, 16.5, 18.3] 


# Прогон по выборке 


{ог е іп гапее(еросй$): 

Гог 1 ір гапее(]еп(агг_х)): # 1еп(агг) — функция возвращает длину массива 
# Получить х координату точки 

х = агг х[ 1] 


# Получить расчетную у, координату точки 
у=А *х 


# Получить целевую Ү, координату точки 
(агоеі Ү = агг у[1] 


# Ошибка Е = целевое значение — выход нейрона 
Е = ќагоеї Ү —у 


# Меняем коэффициент при х, в соответствии с правилом А+дельтаА = А 
А += І1%(Е/х) 


# Вывод данных готовой прямой 
рии 'Готовая прямая: у = ', А, '* Х') 


Результатом ее работы будет функция готовой прямой: 
у = 2.0562708725692196 * Х 


Для большей наглядности, что я специально указал данные в обучающей выборке, так 
чтобы они лежали около значений функции у = 2 х. И после обучения нейрона, мы 
получили ответ очень близкий к этому значению. 

Было бы неплохо визуализировать все происходящие на графике прямо в Руіћоп. 

Визуализация позволяет быстро получить общее представление о том, что мы делаем и 
чего добились. 


Для реализации этих возможностей, нам потребуется расширить возможности Рућоп 
для работы с графикой. Для этого необходимо импортировать в нашу программу, 
дополнительный модуль, написанный другими программистами, специально для 
визуализаций данных и функций. 

Ниже приведена инструкция, с помощью которой мы импортируем нужный нам пакет 
для работы с графикой: 


ппрог таѓрІоШ.руріІог аз ри 


Кроме того, мы должны дополнительно сообщить Руќѓћоп о том, что визуализировать 
следует в нашем блокноте, а не в отдельном окне. Это делается с помощью директивы: 


таро ШЬ іпһпе 

Если не получается загрузить данный пакет в программу, то скорей всего его надо 
скачать из сети. Делать это удобно через Апасопда Рготрї, который устанавливается вместе с 
пакетом Апасопда. 


Для системы \УЛпдо\$, в Апасопіа Рготрї вводим команду: 


сопаа ша таро 


И следуем инструкциям. Для других операционных систем возможно потребуется 
другая команда. 

Теперь мы полностью готовы к тому, чтобы представить наши данные и функции в 
графическом виде. 

Выполним код: 


1трогі таѓрІоШ.руріІог аз ри 
таро ШЬ іпһпе 


# Функция для отображения входных данных 
ае? Ғопс ааѓа(х_ аага): 
геваги [агг_у[1] Юг 1 ш гапоееп(агг_у))] 


# Функция для отображения начальной прямой 
ае Ғопс_Беріп(х. Берип): 
теги [А _у15* Юг 11р х Бес] 


# Функция для отображения готовой прямой 
де? Ғопс(х): 
геќигп [А ѓог і1р Хх] 


# Значения по Х входных данных 
х ааѓа = агг х 


# Значения по Х начальной прямой (диапазон значений) 
х_Беоіп = [1 Юг! ш гапое(0, 11)] 


# Значения по Х готовой прямой (диапазон значений) 
х = [1 Юг 1 гапое(0, 11)] 
#х = пр.агапее(0,11,1) 


# Значения по У входных данных 


у_Ча = Вшс_даа(х_ааа) 


# Значения по У начальной прямой 
у Беріп = Ёапс Беріп(х Беріп) 


# Значения по У готовой прямой 


у = Ёшс(х) 


# Зададим имена графику и числовым координатам 
ріс. 00е("М№еџгоп") 

ріє.хІаБе1("Х") 

ріс уІаБе1("Ү") 


# Зададим имена входным данным и прямым 
рИ.роКхуу, Іабе1=' Входные данные!, со]ог = '5') 
рИ.роКхуу, Іабе1=' Готовая прямая', со]ог = 'т') 
рИ.рТоКхуу, Іабе1=' Начальная прямая’, со]ог = 'Ъ') 

р! езепа ос=2) Жос — локация имени, 2 – справа в углу 


# представляем точки данных (х,у) кружочками диаметра 10 


рІс.ѕсайег(х_ аѓа, у_аза, со]ог ='0', 5=10) 

# Начальная прямая 

рІсрІох_ беріп, у Беріп, 'Ъ’) 

# Готовая прямая 

рієрІіобх, у, 'г’) 

# Сетка на фоне для улучшения восприятия 
ріІ.2г1а(Тгие, іпеѕѓуІе='-', со]ог='0.75') 

# Показать график 

ріс.5ћом() 


При выполнении кода, результат визуализации окажется следующим: 


М№еигоп 


——щ Входные данные 
— Готовая прямая 
— Начальная прямая 


Исходники с программами вы можете найти по ссылке: 
ћёрѕ://01ћиБ.сопуСашаСап/пеџга! таѕіќег 


Перед тем как описать полученный результат, сперва опишем работу нашего кода 
пакета таіріоіЫ. 

В функциях отображения входных данных — Яе #ипс Яаѓа(х дӢаќа), еғ 
Ғопс даќа(х Беріп), еЁ Рапс_да(х), возвращаем координаты у, в соответствии со своими 
значениями по х. 


Зададим имена графику – р. е(), и числовым координатам — рії.хІаБе1(): 


ріс 00е("М№еџгоп") 
рієхІаБе1("Х") 
ріє.уІаБеІ("Ү") 


Зададим имена входным данным и прямым - р!ё.ро{), в скобках укажем имя и цвет, 
р! есепаос=2) – определяет нахождение данных имен на плоскости: 


рИ.рТоКхуу, 1аБе1!='Входные данные", со]ог = '9!) 
рИ.роКхуу, Іабе1=' Готовая прямая', со]ог = 'т') 
рИ.рТоКхуу, Іабе1=' Начальная прямая’, со]ог = 'Ъ') 

р! езепа ос=2) Жос — локация имени, 2 — справа в углу 


Метод зсайег выводит на плоскость точки с заданными координатами: 


рІс.ѕсайег(х аѓа, у_Чаа, со]ог ='0', $=10) 
Метод рої выводит на плоскость прямую по заданным точкам: 


рієрІобх, у, 'г’) 
Ну и наконец отображаем все что натворили, командой ріє.ѕћож(). 


Теперь разберем получившийся график. Синим — отмечена начальная прямая, которая 
изначально не выполняла никакой классификации. После обучения, значение коэффициента 
А, стабилизируется возле числа = 2.05. Если провести прямую функции у = Ах = 2.05*х, 
отмеченной красным на графике, то получим значения близкие к нашим входным данным 
(на графике – зеленые точки). 

А что если, наш обученный нейрон смог бы правильно отвечать на вводимые 
пользователем данные? Если задать условие, что всё что выше красной линии относится к 
виду — жирафов, а ниже к виду – крокодилов: 


х = шри("Введите значение ширины Х: ") 
х = р(х) 
Т = Іпроиє"Введите значение высоты У: ") 
Т = 106Т) 
УзАТК 


# Условие 

ИТ &0б; у: 

ргір('Это жираф!) 

ее: 

ргіп'Это крокодил!) 

Функция шри{ — принимает значение, вводимое пользователем. А условие гласит: если 
целевое значение (вводимое пользователем) больше ответа на выходе нейрона (выше 
красной линии), то сообщаем что — это жираф, иначе сообщаем что — это крокодил. 

После ввода наших значений, получаем ответ: 

Введите значение ширины Х: 4 

Введите значение высоты У: 15 

Это жираф! 


Теперь мы можем поздравить себя! Вся наша работа стала сводиться к тому, чтоб 
просто подавать на вход нейрона данные, не разбираясь в них самостоятельно. Нейрон сам 
классифицирует их и даст правильный ответ. 

Если бы наши действия на работе сводились к подобным классификациям, то у нас 
появилась бы куча времени на кофе, очень важных общений в социальных сетях, и даже 
останется время, чтоб разложить пасьянс. И при всем этом можно выполнять ещё больший 
объём работы, что конечно же должно вознаграждаться премиальными и повышением 
зарплаты. 


ГЛАВА 4 


Добавляем входной параметр 


Теперь представим, что нам приходит новое задание. Где, проанализировав 
самостоятельно данные, мы видим, что их координаты значительно отличаются от прежних. 
Теперь провести классифицирующую прямую, обладая в своем арсенале лишь 
коэффициентом крутизны - не выйдет! 


У 


Очевидно, что без параметра Ъ ‚ которого мы до этого избегали (Ъ=0 ), тут не обойтись. 

Вспомним, что параметр Б , в уравнении прямой у = Ах + Ъ, как раз отвечает за точку 
её пересечения с осью У . На графике выше, такая точка очевидно находится возле 
координаты ~ (х =0 ; у =11). 

Для того, чтобы выполнить новое задание, придется добавить в наш нейрон, второй 
вход — отвечающий за параметр Ъ. 


Моделирование нейрона как линейного классификатора со всеми параметрами 
линейной функции 


Определимся с параметром (Ъ). Как будет выглядеть второй вход? Какие данные 
подавать в ходе обучения? 

Параметр (Б ) – величина постоянная, поэтому мы добавим его на второй вход нейрона, 
с постоянным значением входного сигнала, равным единице (х 2 = 1). Таким образом, 
произведение этого входа на значение величины (В ), всегда будет равно значению самой 
величины (В ). 

Пришло время для первого эволюционного изменения структуры нашего нейрона! 

Рассмотрим следующую графическую модель искусственного нейрона: 


Изменяемые 


ы 
Вход параметры 


х А 


Нейрон 
Р Выход 


9 


х2=1- 


Где, как говорилось выше, на вход нейрона поступают два входных сигнала х (из 
нашего набора данных) и х 2 = 1. После чего, эти значения умножаются со своими 
изменяемыми параметрами, а далее они суммируются: А *х +  * х 2 . Значение этой суммы, 
а по совместительству — значение функции у = А *х+ь*х2 = А *х-+Ь, поступает на 
выход. 

Ну и давайте всё представим согласно тем принятым условным обозначениям, которые 
используются при моделировании искусственных нейронов и нейронных сетей. А именно — 
коэффициент А и параметр Б, обозначим как \1 и №2 соответственно. И теперь будем их 
называть — весовыми коэффициентами . 

Ну и конечно же, визуализируем структуру нашего нейрона, с новыми обозначениями: 


Входы Веса 


х м2. 


Нейрон 
Р Выход 


9 


ум2. 
х2=1 


Переименуем в нашей первой программе коэффициент (А ) и параметр (Б ), на 
обозначения весовых коэффициентов, как показано на слайде. Инициализируем их в ней. 
Дополним небольшую её часть в области с обучением, формулой изменения веса (№2 ), как 
мы это делали ранее с коэффициентом (А ). 

После чего, область с обучением в программе, будет выглядеть следующим образом: 

# Прогон по выборке 

ог е Іп гапре(еросћѕ): 

Гог 1 ш гапее(]еп(агг)): # Іер(агг) — функция возвращает длину массива 

# Получить х координату точки 

х = агг|1] 


# Получить расчетную у, координату точки 
у= м1 *х + №2 


# Получить целевую Ү, координату точки 
Гагоеі У = агг у[1] 


# Ошибка Е = целевое значение — выход нейрона 
Е = агое_ У —у 


# Меняем вес при входе х 
\1 += Ш*(Е/х) 


# Меняем вес при входе х2 = 1, \/2 += 1*(Е/х2) = 1*Е 
№2 += ШЕ 


И забегая вперед, скажу, что тут нас постигнет разочарование -— ничего не выйдет... 

Дело в том, что вес (2 ) (бывший параметр (Б )), вносит искажение в поправку веса 
(м1 ) (бывшего коэффициента (А )) и наоборот. Они действуют независимо друг от друга, 
что сказывается на увеличении ошибки с каждым проходом цикла программы. 

Нужен фактор, который заставит наша веса действовать согласованно, учитывать 
интересы друг друга, идти на компромиссы, ради нужного результата. И такой фактор у нас 
уже есть — ошибка. 

Если мы придумаем как согласованно со всеми входами уменьшать ошибку с каждым 
проходом цикла в программе, подгоняя под неё весовые коэффициенты таким образом, что в 
конечном счете привело к самому минимальному её значению для всех входов. Такое 
решение, являлось бы общим для всех входов нашего нейрона. То есть, согласованно 
обновляя веса в сторону уменьшения их общей ошибки, мы будем приближаться к 
оптимальному результату на выходе. 

Поэтому, при числе входов нейрона, больше одного, наши выработанные до этого 
правила линейной классификации, необходимо дополнить. Нужно использовать ошибку, 
чтобы математически связать все входы таким образом, при котором они начнут учитывать 
общие интересы. И как следствие, на выходе получить нужный классификатор. 

Итак, мы постепенно подходим к ключевому понятию в обучении нейрона и 
нейронных сетей — обучение методом градиентного спуска . 


Обновление весовых коэффициентов 


Найдем решение, которое, даже будет не идеальным с точки зрения математики, но 
даст нам правильные результаты, поскольку всё же опирается на математический 
инструмент. 

Для понимания всего процесса, давайте представим себе спуск с холма, со сложным 
рельефом. Вы спускаетесь по его склону, и вам нужно добраться до его подножья. Кругом 
кромешная тьма. У вас в руках есть фонарик, света которого едва хватает на пару метров. 
Все что вы сможете увидеть, в этом случае — по какому участку, в пределах видимости 
фонаря, проще всего начать спуск и сможете сделать только один небольшой шаг в этом 
направлении. Действуя подобным образом, вы будете медленно, шаг за шагом, продвигаться 
ВНИЗ. 

У такого абстрактного подхода, есть математическая версия, которая называется — 
градиентным спуском . Где подножье холма – минимум ошибки, а шагами в его 
направлении — обновления весовых коэффициентов. 

Градиентный спуск — метод нахождения локального минимума ИЛИ 
максимума функции с помощью движения вдоль градиента — который, своим направлением 
указывает направление наибольшего возрастания некоторой величины, значение которой 
меняется от одной точки пространства к другой, а по величине (модулю) равный скорости 
роста этой величины в этом направлении. 


Метод градиентного спуска позволяет находить минимум, даже не располагая 
знаниями свойств этой функции, достаточными для нахождения минимума другими 
математическими методами. Если функция очень сложна, где нет простого способа 
нахождения минимума, мы в этом случае можем применить метод градиентного спуска. Этот 
метод может не дать нам абсолютно точного ответа. Но все же это лучше, чем вообще не 
иметь никакого решения. А его суть, как было описано выше — постепенно приближаться к 
ответу, шаг за шагом, тем самым медленно, но верно, улучшая нашу позицию. 

Для наглядности, рассмотрим использование метода градиентного спуска на 
простейшем примере. 

Возьмём график функции, которая своими значениями иллюстрирует склон. Если бы 
это была функция ошибки, то нам нужно найти такое значение (х ), которое минимизирует 


эту функцию: 


Следующий 


шаг 


о х 


Значение шага (скорости обучения), как мы говорили ранее, играет тоже не малую 
роль, при слишком большом значении, мы быстро спускаемся, но можем переступить 
минимум функции — страдает точность. При очень маленьком значении величины скорости 
обучения, нахождение минимума потребует гораздо больше времени. Нужно подобрать 
величину шага такой, чтоб он удовлетворяла нас и по скорости, и по точности. При 
нахождении минимума, наша точка будет коррелировать, возле значения минимум, в чуть 
большую и меньшую сторону на величину шага. Это все равно что — когда спустившись 
вплотную к подножью, мы сделали шаг и оказались чуть выше подножья, повернувшись 
сделали такой же шаг назад, и поняв, что опять находимся чуть выше, повторяли эти 
действия до бесконечности. Но при этом, мы все равно находились бы очень близко к 
подножью, потому как величина шага, в общем объеме, ничтожна, поэтому мы можем 
говорить — что находимся в самом низу. 


Большой илаг Нормальный шаг 


о 


о Корреляция 
о 


о 1 1 1 1 Хх о 1 1 1 1 Хх 


Выходной сигнал нейрона представляет собой сложную функцию со многими 
входными данными, и соответствующие им — весовыми коэффициентами связи. Все они 
коллективно влияют на выходной сигнал. Как при этом подобрать подходящие значения 
весов используя метод градиентного спуска? Для начала, давайте правильно выберем 
функцию ошибки. 

Функция выходного сигнала не является функцией ошибки. Но мы знаем, что есть 
связь между этими функциями, поскольку ошибка — это разность между целевыми 
тренировочными значениями и фактическими выходными значениями (Е= У - у ). 

Однако и здесь не все так гладко. Давайте взглянем на таблицу с тренировочными 
данными и выходными значениями для трех выходных узлов вместе с разными функциями 
ошибок: 


Выходное Целевое значение Ошибка Ошибка 
значение нейрона целевое выход елевое — выход)* 


вт 


ИЕ `; ЗИ 
0] 0,02 


Функция ошибки, которой мы пользовались ранее (целевое — выход ), не совсем нам 
подходит, так как можно видеть, что если мы решим использовать сумму ошибок по всем 
узлам в качестве общего показателя того, насколько хорошо обучена сеть, то эта сумма равна 
нулю! Нулевая сумма означает отсутствие ошибки. Отсюда следует, что простая разность 
значений (целевое — выход ), не годится для использования в качестве меры величины 
ошибки. 

Во втором варианте, в качестве меры ошибки используется квадрат разности: ((целевое 
— выход )? ). Этот вариант предпочтительней первого, поскольку, как видно из таблицы, 
сумма ошибок на выходе не дает нулевой вариант. Кроме того, такая функция имеет еще ряд 
преимуществ над первой, делает функцию ошибки непрерывно гладкой, исключая провалы и 
скачки, тем самым улучшая работу метода градиентного спуска. Еще одно преимущество 
заключается в том, что при приближении к минимуму градиент уменьшается, что уменьшает 
корреляцию через точку минимума. 

Чтобы воспользоваться методом градиентного спуска, нам нужно применить метод 
дифференциального исчисления. Не пугайтесь, всё не так сложно, как может показаться. 


Дифференциальное исчисление — это просто математически строгий подход к 
определению величины изменения одних величин при изменении других. Например, мы 
можем говорить о скорости изменения чего угодно, ускорения или любой другой физической 
величины, или математической функции. 


Не изменяющиеся величина 


Если мы представим автомобиль, движущийся с постоянной скоростью в 1,5 км/мин, то 
отвечая на вопрос, как меняется скорость автомобиля с течением времени, ответ 
угвердительный никак, ноль, так как его скорость постоянна: 


Напомню, дифференциальное исчисление сводится к нахождению изменения одной 
величины в результате изменения другой. В данном случае нас интересует, как скорость 
изменяется со временем. 

Сказанное, можно записать в следующей математической форме: 


45 


2666 ва) 
АЁ 


Линейное изменение 


А теперь представим тот же автомобиль, с начальной скоростью 1,5 км/мин, но в 
определенный момент, водитель жмет на газ, и автомобиль начинает набирать скорость 
(равномерно ускоряться). И по истечении трех минут, от момента, когда мы нажали педаль 
газа, его скорость станет равной 2,1 км/мин. 


Из графика видно, что увеличение скорости автомобиля, происходит с постоянной 
скоростью изменения (равномерным ускорением), откуда функция зависимости скорости от 
времени, выглядит как прямая линия. 

Изначально, в нулевой момент времени, скорость равна 1,5 км/мин. Далее мы 
добавляем по 0,2 км в минуту. Таким образом, искомое выражение приобретает следующий 
ВИД: 

Скорость = 1,5 + (0,2 * время) 

$ = 1,5 +02 


В итоговом выражении, вы легко увидите уравнение прямой. Где коэффициент = 0,2 – 
величина крутизны наклона прямой, а постоянный член = 1,5 — точка через которую 
проходит линия на оси координат у. 

Так будет выглядеть выражение, которое скажет нам о том, что между скоростью 
движения автомобиля и временем сушествует зависимость: 


аѕ 


= 0,2. 
а+ 


Каждую минуту, скорость изменяется на значение 0,2. 


Не равномерное изменение 


Возьмём всё тот же автомобиль, который стоит на месте. Сидя в нем, вы начинаете 
жать в “пол” педаль газа, удерживая её в этом положении. Скорость движения автомобиля, 
за счет инерции, будет возрастать не равномерно. Ежеминутное приращение скорости будет 
с каждой минугой увеличиваться. 


Приведем в таблице, значения скорости в каждую минуту: 


наны. ынам 
НЕ: НИ 
25 


ый улоллинннні 
ОН И 


Эти данные представляют собой выражение: 


Какова скорость изменения скорости автомобиля в каждый момент времени? 

Если посмотреть на два предыдущих примера, то в них скорость изменения скорости 
определялась наклоном графика, коэффициентом крутизны прямой линии А . Когда 
автомобиль двигался с постоянной скоростью, его скорость не изменялась, и скорость 
изменения скорости равна 0. Когда автомобиль равномерно набирал скорость, скорость его 
изменения составляла 0,2 км/мин, на протяжении всего времени движения автомобиля в этом 


режиме. 
А как тогда поступить в этом случае? Как узнать изменение скорости по кривой? 


Применение дифференциального исчисления, понятие производной 


После трех минут с момента начала движения (#3), скорость составит 9 км/мин. 
Сравним со скоростью в конце пятой минугы. После пяти минуг с момента начала движения 
(5), скорость составляет 25 км/мин. Не важно, что скорость 25 км/мин — сопоставима со 
скоростью пули, ведь это воображаемая машина, и едет она с той скоростью, с какой мы 
захотим. Если провести касательную линию в этих точках, то окажется, что угол наклона у 
них совершенно разный: 


Вы видите, что чем больше скорость в точке касательной, тем её наклон круче. Оба 
наклона представляют искомую скорость изменения скорости движения. Можно сравнить с 
вторым примером – линейное изменение. 

Но как измерить наклон этих линий? Для этого давайте представим, что наша 
касательная ( = 3, $ = 9), пересекает функцию в двух точках, расстояние между которыми 
очень мало: 


Зависимость скорости от времени 


Скорость(км/мин) 


Д$=52.-51 
ЕН | а 
раа №? = — 
= ‚21 212-11 
| 
- - | | 
У 1 2 $1 3 12. 4 С 
Время(мин) 
Зависимость скорости от времен» 


Зная координаты этих точек и проведя проекции по осям, можно вычислить расстояние 
между этими точками. 

Если представить прямоугольный треугольник где гипотенуза — это прямая между 
двумя точками, а его катеты равны разности проекциям точек по осям (Ди А5), то поделив 
противолежащий катет на прилежащий получим тангенс угла, который и будет являться 


коэффициентом крутизны. Зная который, как во втором примере, мы легко определим 
изменение скорости в момент Лї. 


Как мы знаем, скорость изменения — это наклон прямой, которую из второго примера 
мы уже умеем находить. Значит, около точки (3), наш коэффициент крутизны будет равен: 


45 11-7 
АЕ 335-267 


=6.06 


Значит, скорость изменения скорости в момент времени три минугы составляет 6,06 
км/мин. 


Производная функции 


Мы можем говорить о скорости изменения чего угодно — физической величины, 
экономического показателя и так далее. 

Рассмотрим функцию у = Ё(х). Отметим на оси Х, некоторое значение аргумента х 
‚анаоси У - соответствующее значение функции у = Ё(х). 


Хх х+АХ 


Дадим аргументу х, некоторое приращение, обозначенное как Лх . Попадаем в точку 
х+Лх . А соответствующие этим значениям аргументов, значение функции обозначим 
соответственно Ё (х), ЛЁ иЁ(х-+Ах). Приращение аргумента Ах , есть аналог промежутка 
времени Л Ё, а соответствующее прирашение функции - это аналог пути А $ ‚ пройденного за 
время ДЕ. 

Если представить, что Ах — бесконечно мала, т.е. стремиться к нулю (Ах-0 ), то 
выражение нахождения изменения скорости можно записать как: 


АЕ |. Кх Лх) - Кх) 
=: (И АИ ТАРА 
ШР Ах х0 Ах 


Или исходя из геометрического представления, описанного ранее: 


АЕ 
Пил —— = (Гил а Ф = 9 Ф 


Отсюда вывод, что производная функции Ё ( х ) в точке х -— это предел отношения 
приращения функции к приращению её аргумента, когда приращение аргумента стремиться 
к нулю. 


Нахождение некоторых табличных производных 


Решим найденным способом, наш первый пример, когда скорость автомобиля была 
постоянной, на всем промежутке времени. В этом примере, приращение функции равно 
нулю (Аѕ = 0), и соответственно тангенса угла не существует: 

Д$ = 9(+Л0) – $(0 = 5(0 – $(® = 0 


й О 
Пил 25 9 (Гил и: — О 
дх->0Л 2х0 АМ я 


Итак, имеем первый результат — производная константы равна нулю. Этот результат мы 
уже выводили ранее: 


25 = 
4+ 


Откуда можно сформулировать правило, что производная константы, равна нулю. 
$ (Е) = с, где с – константа 

с'= 0 

Запись с’ — означает что берется производная по функции. 


О 


Во второй примере, когда изменение скорости автомобиля проходило линейно, с 
постоянным изменением, найти производную функции ($ = 0,2 + 1,5 ), не зная правил 
дифференцирования сложных функций, мы пока не сможем, поэтому отложим этот пример 
на потом. 


Продолжим с решения третьего примера, когда изменение скорости автомобиля 
проходило не линейно: 

$ = 1? 

Приращение функции и производная: 

800 = 2 


Аѕ = 5(0+Л0) — $(0 = (02-8 =0+ ЖЕ А-В = АН 


(Гид 22 45 А0040) л РЕНА Е 
45-20 ЛЕ С ЛЕ->0 


Вот мы и решили наш третий пример! Нашли формулу точного изменения скорость от 
времени. Вычислим производную, в всё той же точки ї = 3. 

$(6)= Е? 

$ '(6) = 2*3 = 6 

Точный ответ, в пределах небольшой погрешности, почти сошелся с вычисленном до 
этого приближенным ответом. 


Попробуем усложнить пример. Предположим, что скорость движения автомобиля 
описывается кубической функцией времени: 

5(6) = Е? 

Прирашение и производная: 

800 = 6 

Д$ = $(+Л9 — $(0 = 2 + 3 РЛ ЗЛЕ+Л е = ЛЕЗ е + ЗЕЕ + ДЕ) 


А5 ЛЕБ 12 + ЗЕЛЕ + ДР) 
Гил 2 = Ши а 
д+-22 ЛЕ 270 ГМТ 


[ил 5 12 + БЕЛЕ + ЛЕ = 5 12 
ЛЕ->О 


Из двух последних примеров (с производными функций $ (1) = &? иѕ (ё) =Ё 3) 
следует, что показатель степени числа, становится его произведением, а степень 
уменьшается на единицу: 

5(1)= @ 


(Е) = и^-* 


А чему равна производная от аргумента функции? Давайте узнаем... 


5 (1) = 1 
Прирашение: 


А$ = 5(Е+ЛЕ) – 5(Е) = Е +АЕ – Е =4 


Производная: 


Е. = (Гид и—— и, 
доо ЛЕ 270 ДЕ 


Получается, что производная от переменной: 


('=0 


Правила дифференцирования и дифференцирование сложных функций 


Дифференцирование суммы 


(и+у)’= ц’+ у’, гдем иу - функции. 
Пусть (х) = у(х) + у(х) . Тогда: 
АЁ = 


#(х+лх)– Ё (х) = ч(х-+Ах)+ У(х-Ах)- ч(х)- у(х) = а(х) + 
Аи 


+ У(х)-+Лу – ч(х)- у(х) = Лои +ЛУу 
Тогда имеем: 


" Т ДЕ_ р Ди+Ду _ 
Че В Ал де ДВ 


‚ Аи Ду 
= [м 


об РА сй 
дх->о АХ Ах 


Дроби Л 0 /Лх иЛу/Ах при Лх-&9;0 стремятся соответственно ки (х) иу’ (х) 
. Сумма этих дробей стремится к сумме и (х) + у’(х). 


(х) = и’(х)+ у’(х) 
Дифференцирование произведения 


(0*у) = и’ у + у’а,гдем иу - функции 
Разберем, почему это так. Обозначим Ё(х) = и(х)* у(х). Тогда: 
АҒ 


#(х+Лх) – (х) = ч(х+Ах)* у(х-+Ах)- ч(х)* у(х) = (0(х) + 
Ач) * (у(х) +Лу)– ч(х)* у(х) = ои(х) у(х) + у(х)Ла + о(х)Лу +ЛаиЛУ 
– о(х)у(х)= у(х)Лои + и(х)Лу +ЛоЛУ 

Далее имеем: 


ЛЕ. МХ) Ли+и(х) Лу Ли Л и 


| = |! аана: [Гид 
Ё (х) Пи е: Лх 


Ли Лу Ли 


И Е Е 


Первое слагаемое стремиться к и'(х) у(х) . Второе слагаемое стремиться к Уу'(х)* ц(х) . А 
третье, в дроби А и /А х , в пределе даст число и’(х) , а поскольку множитель Ау стремиться 
к нулю, то и вся эта дробь обратится в ноль. А следовательно, в результате получаем: 

(х) = и’(х) у(х) + у'(х) и(х) 

Из этого правила, легко убедиться, что: 

(с*и)’= с" о + си’= сои’ 

Поскольку, е – константа, поэтому ее производная равна нулю (с’ = 0). 

Зная это правило мы без труда, найдем изменение скорости второго примера. 

Применим к выражению правило дифференцирование суммы: 

5'(Е) = (0,20 '+ (1,5) ' 


Теперь по порядку, возьмём выражение — (0,20 ' Как брать производную 
произведения константы и переменной мы знаем: 
(0,20 '= 0,2 


А производная самой константы равна нулю - (1,5) '= 0. 
Следовательно, скорость изменения скорости, второго примера: 

$'(Е) = 0,2 

Что совпадает с нашим ответом, полученном ранее во втором примере. 
Дифференцирование сложной функции 

Допустим, что в некоторой функции, у сама является функцией: 
Г=у? 

у = х?+х 

Представим дифференцирование этой функции в виде: 


аға? а 
Аах 49у ах 
Нахождение производной В ЭТОМ случае, осушествляется в два этапа. 
#7: 
аР 49", 4+. 
Ях 449 Ах 


= 29 ® (РЖ) 


Мы знаем, как решить производную типа: ду?/4у = 2у 

А также знаем, как решать производную суммы: х? + х = (х?)' + х’ = 2х+1 

Тогда: 

2(х2+х) * (2х+1) = (2х2+2х) * (2х+1) = 4х3+6х2+2х 

Я надеюсь, вам удалось понять, в чем состоит суть дифференциального исчисления. 

Используя описанные, методы дифференцирования выражений, вы сможете понять 
механизм работы метода градиентного спуска. 


В качестве небольшого дополнения, приведу список наиболее распространённых 
табличных производных: 


Функция Производная 


х 1 
хи А «а 
е х РА х 
с(сомѕ) о 
ах аиа 
к „1 
и. Х 605 Хх 
60$ Х — Ям Хх 
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< 
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1: 
(од, х к (оа,е 
3; 
4х г: де 
; 1 
аисяи. х 5 
1-х“ 
1 
@гсс0$ х Е 5 
1-Х“ 
1 
агсёй х 2 
н РЭБ 
. 1 
аиссё х 2 


Основные сбойсилва 


Зачем нам дифференцировать функции 


Еще раз вспомним как мы спускаемся по склону. Что в кромешной тьме, мы хотим 
попасть к его подножью, имея в своем арсенале слабенький фонарик. 


Опишем эту ситуацию, по аналогии с математическим языком. Для этого 
проиллюстрируем график метода градиентного спуска, но на этот раз применительно к более 
сложной функции, зависящей от двух параметров. График такой функции можно 
представить в трех измерениях, где высота представляет значение функции: 


Значение 


а: ШГ 08 


К слову, отобразить визуально такую функцию, с более чем двумя параметрами, как 
видите, будет довольно проблематично, но идея нахождения минимума методом 
градиентного спуска останется ровно такой же. 

Этот слайд отлично показывает всю суть метода градиентного спуска. Очень хорошо 
видно, как функция ошибки объединяет весовые коэффициенты, как она заставляет работать 
их согласованно. Двигаясь в сторону минимума функции ошибки, мы можем видеть 
координаты весов, которые необходимо изменять в соответствии с координатами точки — 
которая движется вниз. 

Представим ось значение, как ось ошибка. Очень хоропю видно, что функция ошибки 
общая для всех значений весов. Соответственно — координаты точки значения ошибки, при 
определенных значениях весовых коэффициентов, тоже общие. 

При нахождении производной функции ошибки (угол наклона спуска в точке), по 
каждому из весовых коэффициентов, находим новую точку функции ошибки, которая 
обязательно стремиться двигаться в направлении её уменьшения. Тем самым, находим 
вектор направления. 

А обновляя веса в соответствии со своим входом, на величину угла наклона, находим 
новые координаты этих коэффициентов. Проекции этих новых координат на ось ошибки 
(значение низ лежащей точки на графике), приводят в ту самую новую точку функции 
ошибки. 

Как происходит обновление весовых коэффициентов? 

Для ответа на этот вопрос, изобразим наш гипотетический рельеф в двумерной 
плоскости (гипотетический — потому что функция ошибки, зависящая от аргумента весовых 
коэффициентов, нам не известна). Где значение высоты будет ошибка, а за координаты по 
горизонтали нахождения точки в данный момент, будет отвечать весовой коэффициент. 


Ошидка 


Касаилельная 


Весовой коэффициенил связи 


нейрона 


Тьму, через которую невозможно разглядеть даже то, что находится под ногами, можно 
сравнить с тем, что нам не известна функция ошибки. Так как, даже при двух, постоянно 
изменяющихся, параметрах неизвестных в функции ошибки, провести её точную кривую на 
координатной плоскости не представляется возможным. Мы можем лишь вычислить её 
значение в точке, по весовому коэффициенту. 

Свет от фонаря, можно сравнить с производной — которая показывает скорость 
изменения ошибки (где в пределах видимости фонаря, круче склон, чтоб сделать шаг в его 
направлении). Следуя из основного понятия производной — измерения изменения одной 
величины, когда изменяется вторая, применительно к нашей ситуации, можно сказать что мы 
измеряем изменение величины ошибки, когда изменяются величины весовых 
коэффициентов. 

А шаг, в свою очередь, отлично подходит на роль обновления нашего весового 
коэффициента, в сторону уменьшения ошибки. 

Вычислив производную в точке, мы вычислим наклон функции ошибки, который нам 
нужно знать, чтобы начать градиентный спуск к минимуму: 


ДЕ п 
(ил. —— = (ил 9 = Ф 


ЧЕ 


дм 


1} - определитель веса, в соответствии со своим входом. Если это вход х1 -— то его 
весовой коэффициент обозначается как — 11 ‚ау входа х2 — обозначается как -%21 . Чем 
круче наклон касательной, тем больше скорость изменения ошибки, тем больше шаг. 


Запишем в явном виде функцию ошибки, которая представляет собой сумму 
возведенных в квадрат разностей между целевым и фактическим значениями: 


Разобьем пример на более простые части, как мы это делали при дифференцировании 
сложных функций: 


В = 2(Г-и)*(-1 
5 ЕТ - Ш) 


== (Г = ш) 


Так как выход нейрона – (х) = у , а взвешенная сумма — у = У Тм Ц *х і, гдехі – 
известная величина (константа), а весовые коэффициенты № Ц – переменная, производная 
по которой, дает как мы знаем единицу, то взвешенную сумму можно разбить на сумму 
простых множителей: 


а(х Мг ПАХ) _ 
дм) 
,,4 №) | 4 и) у 2000) 
Аиа. ЯМ д мј 


Откуда нетрудно найти: 


= ЖЖ 
дм | 


ЧЕ _ ЧЕ 44 
аму 49 Ям 


Прежде чем записать окончательный ответ, избавимся от множителя 2 в начале 
выражения. Мы спокойно можем это сделать, поскольку нас интересует только направление 
градиента функции ошибки. Не столь важно, какой множитель будет стоять в начале этого 
выражения, 1, 2 или любой другой (лишь немного потеряем в масштабировании, 
направление останется прежним). Поэтому для простоты избавимся от неё, и запишем 
окончательный вид производной ошибки: 


Всё получилось! Это и есть то выражение, которое мы искали. Это ключ к тренировке 
эволюционировавшего нейрона. 


Как мы обновляем весовые коэффициенты 


Найдя производную ошибки, вычислив тем самым наклон функции ошибки (подсветив 
фонариком, подходящий участок для спуска), нам необходимо обновить наш вес в сторону 
уменьшения ошибки (сделать шаг в сторону подсвеченного фонарем участка). Затем 
повторяем те же действия, но уже с новыми (обновлёнными) значениями. 

Для понимания как мы будем обновлять наши коэффициенты (делать шаги в нужном 
направлении), прибегнем к помощи так уже нам хорошо знакомой – иллюстрации. Напомню, 
величина шага зависит от крутизны наклона прямой (5). А значит величина, на 
которую мы обновляем наши веса, в соответствии со своим входом, и будет величиной 
производной по функции ошибки: 


Вот теперь иллюстрируем: 


Ощидка 


Касаилельная 


Весовой коэффициенил связи 


нейрона 


“У 
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Из графика видно, что для того чтобы обновить вес в большую сторону, до значения 
(№2 ), нужно к старому значению (№1 ) прибавить дельту (Ам ), откуда: (№2 = =\1+Ам ). 
Приравняв (Лу ) к производной ошибки (величину которой уже знаем), мы спускаемся на 
эту величину в сторону уменьшения ошибки. 

Так же замечаем, что (Е2- Е1=-ЛЕ)и(ж2 –ж1 = Л у), откуда делаем вывод: 

Лу = -ЛЕ/Л у 

Ничего не напоминает? Это почти то же, что и дельта линейного классификатора (ЛА = 
Е/х ), подтверждение того что наша эволюция прошла с поэтапным улучшением 
математического моделирования. Таким же образом, как и с обновлением коэффициента (А 
= А+ЛА ), линейного классификатора, обновляем весовые коэффициенты: 

новый ж 1 = старый ж іј -(- Л Е /Л у) 

Знак минус, для того чтобы обновить вес в большую сторону, для уменьшения ошибки. 
На примере графика – от ж1 до №2. 

В общем виде выражение записывается как: 

новый У іј = старый у іј – Е /адж іј 

Еще одно подтверждение, постепенного, на основе старого аппарата, хода эволюции, в 
сторону улучшения классификации искусственного нейрона. 

Теперь, зайдем с другой стороны функции ошибки: 


Ошидка 


Касаилельная 


Хх 


Снова замечаем, что (Е 2- Е1= ЛЕ )и(ж2 —-м1=А\т }, откуда делаем вывод: 

Лу = ЛЕ/Л у 

В этом случае, для обновления весового коэффициента, в сторону снижения функции 
ошибки, а значит до значения находящееся левее (\1 ), необходимо от значения (М1 ) 
вычесть дельту (Ам ): 

новый У іј = старый жіј - ЛЕ/Л у 

Получается, что независимо от того, какого знака производная ошибки от весового 
коэффициента по входу, вычитая из старого значения — значение этой производной, мы 
движемся в сторону уменьшения функции ошибки. Откуда можно сделать вывод, что 
последнее выражение, общее для всех возможных случаев обновления градиента. 

Запишем еще раз, обновление весовых коэффициентов в общем виде: 

новый У 1 = старый УЦ- Е /9\1 

Но мы забыли еще об одной важной особенности... Сглаживания! Без сглаживания 
величины дельты обновления, наши шаги будут слишком большие. Мы подобно кенгуру, 
будем прыгать на большие расстояния и можем перескочить минимум ошибки! Используем 
прошлый опыт, чтоб устранить этот недочёт. 

Вспоминаем старое выражение при нахождении сглаженного значения дельты 
линейного классификатора: ЛА = _%(Е/х) . Где (Г. ) – скорость обучения, необходимая для 
того, чтобы мы делали спуск, постепенно, небольшими шашками. 

Ну и наконец, давайте запишем окончательный вариант выражения при обновлении 
весовых коэффициентов: 

новый ж 1 = старый \%Ц- Г. *( аЕ /ду іј) 

Еще раз можем убедиться, в постепенном улучшении свойств, в ходе эволюции 
искусственного нейрона. Много из того что реализовывали ранее остается, лишь небольшая 
часть подверглась эволюционному улучшению. 

Ложный минимум 

Если еше раз взглянуть на трехмерную поверхность, можно увидеть, что метод 


градиентного спуска может привести в другую долину, которая расположена правее, где 
минимум значения будет меньше относительно той долины, куда попали мы сейчас, т.е. эта 
долина не является самой глубокой. 


Значение 


з — 


В --- 00 


На следующей иллюстрации показано несколько вариантов градиентного спуска, один 
из которых приводит к ложному минимуму. 


Коррекилный Корректный Ложный 


минимум 1 минимум минимум 


А. + м А. ж м 1 А + м] 
Поздравляю! Мы прошли самую основу в теории нейронных сетей — метод 
градиентного спуска . Освоив этот материал, в дальнейшем, изучение теории 


искусственных нейронных сетей, не будет представлять для вас значимого труда. 
Как работает эволюционировавший нейрон 
Ну вот и настало время проверить практически, все наши умозаключения, касающиеся 


работы нашего искусственного нейрона, после первой эволюции. Для этого прибегнем к 
помощи Руфоп, но сначала покажем наш список с данными, с которого мы это всё затеяли: 


х (длина Ү(высота 

1 4,3 

2 7 

3 8 
355 10,1 
4 11:3 
6 14,2 
Г) 18,5 
8,5 19,3 
9 21,4 


Если по координатам построить точки на плоскости, то мы заметим, что их значения 
лежат возле значений графика функции -у = 2х + 2,5. 

Программа 

1трогї гапдот 

# Инициализируем любым числом крутизны наклона прямой у1 = А 

№1 = 0.4 

№у1 _у15 = у1 # Запоминаем начальное значение крутизны наклона 

# Инициализируем параметр \2 = 0 — отвечающий за точку прохождения прямой через 
ос У 

\2 = гапдот. ип ѓогт(-4, 4) 

№2 _у15 = \/2 # Запоминаем начальное значение параметра 

# Вывод данных начальной прямой 

ргіп('Начальная прямая: ', \1, '* Х + ', м2) 


# Скорость обучения 

1с = 0.001 

# Зададим количество эпох 

еросһћѕ = 3000 

# Создадим массив (выборку входных данных) входных данных х1 
агг х1 = [1, 2, 3, 3.5, 4, 6, 7.5, 8.5, 9] 


# Значение входных данных второго входа всегда равно 1 

х2 = 1 

# Создадим массив значений (целевых значений) 

агг у = [4.3, 7, 8.0, 10.1, 11.3, 14.2, 18.5, 19.3, 21.4] 

# Прогон по выборке 

{ог е іп гапое(еросћѕ): 

Гог 1 ір гапое(Іеп(агг_х1)): # 1еп(агг) — функция возвращает длину массива 
# Получить х координату точки 

х1 = агг х1[1] 


# Получить расчетную у, координату точки 
у= №1 * х1 + №2 


# Получить целевую Ү, координату точки 
Гагоег У = агг у[1] 


# Ошибка Е = -(целевое значение – выход нейрона) 
Е = – ((агоеі У – у) 


# Меняем вес при х, в соответствии с правилом обновления веса 
\1 -= г* Е * х] 


# Меняем вес при х2 = 1 
#\/2 -= гае * Е * х2 #Т.к. х2 = 1, то этот множитель можно не писать 
№2 -= Е * Е 


# Вывод данных готовой прямой 

рии Готовая прямая: ', у1,'* Х +', 2) 

Данный код, как и все другие вы можете скачать по ссылке: 
ћерѕ://01ћиБ.сопуСатаСап/пеџга! таѕіќег 

Опишем код программы: 

В самом начале программы импортируем модуль для работы со случайными числами: 

1трогї гапдот 

При помощи которого, случайным числом, создаем весовой коэффициент параметра 
(\2 = Б) — отвечающий за точку прохождения прямой через ос У: 

№2 = гапот. ип ѓогт(-4, 4) 

Метод модуля гапдот — итоги (от, ©), генерирует случайное вещественное число от 
Кот до іо включительно. 

В нашей программе, как видно, не так много изменений, по сравнению с той что мы 
написали до этого. Мы добавили второй вход (х2 = 1), со своим весовым коэффициентом 
(№2). Коэффициент (А) — переименовали в весовой коэффициент (№1), параметр (Б) – в 
весовой коэффициент (\2). Ну и конечно же, реализовали новую улучшенную функцию 
ошибки, и обновление весовых коэффициентов по методу градиентного спуска. 

В результате чего, наш эволюционировавший нейрон, теперь гораздо лучше 
справляется с задачей классификации. Теперь он может классифицировать данные по двум 
входам, тем самым получая линейный классификатор с пересечением прямой по всей оси У, 
а не только строго в точке нуля. 

Давайте взглянем на результат чтобы убедиться в этом: 

Начальная прямая: 0.4 * Х + 0.3652477754014445 


Готовая прямая: 2.058410130422831 * Х + 2.5013583972057263 


М№еигоп емоіиїйоп №1 


—— Входные данные 
——— Готовая прямая 
— Начальная прямая 


Вы видите! Как наш искусственный нейрон прекрасно справляется с задачей. Даже еле 
различимые на глаз данные, он легко смог линейно разделить. 

Теперь зададим условие, как это делали ранее. Если данные расположены выше 
классифицирующий линии, то это вид жирафа, а все что ниже – крокодилы. Будем делать это 


подавая на входы, значения, которые нейрон до этого не видел и посмотрим, сможет ли 
обученный нейрон, самостоятельно определить к какому виду они принадлежат. 

х1 = шри("Введите значение ширины Х: ") 

х1 = ШхГ) 

Т = шри("Введите значение высоты У: ") 

Т=шкТ) 

у= м1 * х1 + №2 


# Условие 

ИТ &0б; у: 

рип ‘Это жираф!) 

ее: 

ргіп('Это крокодил!) 

После ввода наших значений, следует условие, которое проверяет, какого вида эти 
данные, жирафы или крокодилы, и возвращает ответ на поставленный вопрос. 

Введите значение ширины Х: 4 

Введите значение высоты У: 15 

Это жираф! 


Резюмируя проделанную работу: 

Получив задание, классифицировать два вида животных, по параметрам, 
определяющим размеры их тела, с некоторой выборкой данных (значений и ответов), мы 
смогли запрограммировать искусственный нейрон, основываясь на элементарных знаниях 
математики, а именно линейной функции, проходящей через начало координат (у = Ах). 
Определив, что, данные лежащие выше прямой относились бы к одному классу, а все точки 
данных лежащих ниже - к другим. Тем самым мы лишили бы себя утомительной работы по 
самостоятельному анализу полученных данных, для классификации их на два вида. Говоря 
иными словами, мы доверили этот процесс искусственному нейрону, который мы создали на 
основе знания линейного классификатора. Теперь нейрон самостоятельно классифицирует 
все данные поступившие на его единственный вход. Более того, после процесса обучения, с 
обученным коэффициентом (А ), мы легко можем задать условие, которое по вводимым 
пользователем значениям, определяло, к какому виду они принадлежат. 

Мы полностью автоматизировали процесс классификации! Избавили себя от рутины 
сейчас и в последующем. И это только на самой простейшей форме “искусственной жизни” 
нейрона, с одним входом и выходом! 

Но биологическая, как и цифровая, природа, не столь однообразна. До этого мы 
рассматривали “тепличные данные” – (у = Ах ). Данные -— которые мы могли 
классифицировать, имея лишь один вход. Во многих случаях классификации обойтись одним 
коэффициентом (А ), линейной функции, невозможно, приходится использовать весь спектр 
возможности линейной функции. Для использования этих дополнительных возможностей, 
необходимо эволюционировать искусственный нейрон, добавив к нему еще один вход. 

Добавив на второй вход параметр (Б ), отвечающий за точку прохождения прямой через 
ось У , в качестве обучаемого коэффициента, мы получаем весь арсенал возможностей 
линейной функции (у = Ах+Ъ) при классификации. 

Так как у параметра (Ь ), в линейной функции (у = Ах 1+0 ), нет произведения на 
значение переменной, то на второй вход, в качестве данных, всегда поступает единица (х 2 = 
1). Откуда на выходе получаем взвешенную сумму: у = Ах 1+ іх 2 . При х2 = 1, на 
выходе получаем у = Ах 1+. И наконец, назвав коэффициенты, при входных данных — 
весовыми коэффициентами, изменили их обозначение – ү 1 = А ‚ам2 = Б, в итоге: у = 
у1х1+уү2. 

Но обучая наш нейрон, как в первом случае, на выходе мы не получим нужных ответов. 
Оказалось, всё дело в том, что второй вход, участвует в процессе обучения независимо от 


первого, и наоборот. Каждый тянет одеяло на себя. Оба входа, как бы мешают друг другу 
подстроить свои веса. Вследствие чего, при вычислении ошибки, получали непредсказуемый 
результат для подстройки обоих весовых коэффициентов. И было бы здорово, если бы с 
каждым последующим обучающим примером, мы смогли уменьшать функцию ошибки. 

Для решения этой проблемы, нам пришлось ознакомится с методом градиентного 
спуска. В ходе рассмотрения этого метода, мы ознакомились с производными, узнали о 
правилах дифференцирования В следствии чего, научились обновлять весовые 
коэффициенты, в сторону уменьшения ошибки по каждому из входов. 

Суть метода — обновление весовых коэффициентов на своих входах, в зависимости от 
функции ошибки, таким образом, чтобы плавно двигаться в сторону её уменьшения. 
Другими словами, найти на каждом из входов, такое значение веса, чтоб ошибка на выходе, 
для всех этих весовых коэффициентов, была минимальной и как следствие удовлетворяла их 
всех. 

Получив необходимые выражения, убедились, что изменений в математике 
функционирования искусственного нейрона, не так уж и много. Подобно биологической 
эволюции, наша тоже произошла постепенно. Ранее приобретённые навыки для 
классификации, лишь немногим усовершенствовались, а новые в свою очередь, выходят 
исходя из старых. 


ГЛАВА 5 
Больше входных данных 


А что будет если добавить на вход искусственного нейрона, еще больше данных? Для 
начала, хотя бы еще один... 


Проблемы линейной классификации 


Допустим поступило новое задание, не совсем похожее на предыдущее. Теперь от нас хотят 
классифицировать виды животных, но уже с дополнительным параметром -— возраст. Тестовая 
выборка дается уже по трем параметрам — ширина, высота, возраст. Первое что приходит в 
голову — объединить два параметра в одно. Если принять соотношение длины к высоте за один 
параметр, то мы можем смело действовать, как раньше: 


Ч = Возрасил 


Класс №1. Хан 


С) С е Класс №2. 


Длинна 
х= Высоила 


Но проанализировав всё задание самостоятельно, мы пришли к такому выводу: 


Ч = Возрасил 


в Класс №1 СП Н 


Длинна 
х= Высоила 


Как видим — данные пересекаются. И действительно, природу, как и всё что нас окружает, 
далеко не всегда можно классифицировать прямой. Даже один и тот же вид животных, может 
обитать в разных климатических зонах и условиях, что может сильно сказываться на параметрах 
его тела. 


Что же делать? Ну для начала не будем паниковать и попробуем найти решение, пойдя по 
простому пути. 


Логические функции 


Рассмотрим, что будет на выходе нашего нейрона, добавив к нему еще один вход. Для этого, 
будем подавать на его вход данные логических функций. 

Логическая функция принимает на вход два аргумента. Их значения, целевые значения, тоже 
известны. Логические функции могут принимать только дискретные аргументы (0 или 1). 


Рассмотрим логическую функцию (И). Такая функция равна нулю для любого набора 
входных аргументов, кроме набора (х1 = 1, х2 = 1): 


У – логическое И 


Функцию логического (И), для упрощения, еще называют — логическом произведением. В 
самом деле: 


х1 * х2 =0*0=0 


х1 *х2=1*0= 0 

х1 *х2=0*1=0 

х1 *х2=1*1=1 

Раз мы решили добавить еще один вход на наш нейрон, то как будет выглядеть функция 
выхода? Ну первое что приходит в голову, раз мы в первом случае суммировали, по аналогии с 
линейной функцией, два произведения входных данных и весовых коэффициентов (у = м1х1 
+\2), то почему бы не попробовать действовать подобным образом. Тогда представим 
линейный классификатор функцией – у = ж1х1 + м2х2 + уЗ. Ну и конечно же, эволюционируем 
наш нейрон, добавив еще одну “ногу” на вход: 


Входы Веса 


ЖЕ: м1. 
Нейрон 
Р Выход 
ИЕ. И Ч 
м5 


И 
А 


х5 


Если присмотреться, наш нейрон уже и в правду напоминает какой то, простейший живой 
организм. 

Так как у нас всего четыре обучающие выборки, то давайте самостоятельно, без написания 
программы, проанализируем, что будет происходить на выходе и какие должны быть значение 
весовых коэффициентов: 

х1%у1 + х2ү2 + МЗ = 0) * 0,5 +0 * 0,5 +0 = 0 

х1%у1 + х2үу2 + МЗ = 1 * 0,5 +0 * 0,5 +0 = 0,5 

х1%у1 + х2ү2 + МЗ = 0) * 0,5 +1 * 0,5 +0 = 0,5 

х1%у1 + х2үү2 + үү3 = 1 * 0,5 +1 * 0,5 +0 = 1 

Значение весовых коэффициентов не обязательно получились бы такими, как здесь, я их взял 
относительно решения уравнения при х1 = 1 их2 =2. Но в каких бы из четырех решений 
логической функции (И), мы не подстраивали наши веса, общего решения нам не найти. 

Ну и эта проблема, решается без труда. Помните, как в конце двух написанных нами 
программ на Руфоп, мы в конце задавали условие — если координата размеров тела животного 
превышает значение нашего классификатора, то он относится к одному виду, иначе - к другому. 


Так вот если задать условие в нашем примере, которое гласило бы - что на выходе получаем 
единицу, только в том случае — если значение на выходе больше или равно заданному порогу 
(любое заданное нами число). 

Пусть заданный порог равен 3. Тогда, если еще раз самостоятельно проанализировать 
логическую функцию. И решить её относительно уравнения при х1 = 1 и х2 =2, с учетом условия 
порога: 


х1\1 + х2ү2 + М3 =0*1,5+0* 1,5+0=0 
х1%у1 + х2үу2 + М3 =1* 1,5 +0 * 1,5 +0 = 0 
х1%у1 + х2үу2 + М3 = 0 * 1,5 +1 * 1,5 +0 = 0 
х1уүу1 + х2%2 + \3 = 1 * 1,5 +1 * 1,5 +0 = 1 


В последнем выражении, как мы говорили, единица на выходе, только при условии: х1\1 + 
х2уү2 + уЗ > 3. Опять же, коэффициенты могут быть несколько иными, больше чем (х1=1,5 и 
х2=1,5), или к примеру: х1\1 + х2%2 + м3 = 1 * 1,4+ + 1% 1,4 + 03 = 1, смысл решения не 
меняется, а главное оно есть! 

Теперь, задав условие сразу при обучении нейрона, мы как бы расширили диапазон его 
возможностей. Так, с помощью условия при обучении, мы можем получать верные ответы на 
выходе искусственного нейрона не только с помощью классифицирующей прямой. 


Функция единичного скачка 
Попробуем проиллюстрировать наше условие на координатной плоскости: 


У 


О, У(Х) < Порог 
1, У(Х) > Порог 


Ч(х) = 


Наше условие имеет вполне видимые очертания на координатах. Можно сказать — что наше 
условие является некой функцией. И у такой функции есть название — функция единичного 
скачка. А сами функции участвующие в процессе обучения называют -— функциями 
активации. Всего существует более десятка функций активации. В дальнейшем мы разберем 
самые популярные из них. 

Запишем функцию активации единичного скачка на математическом языке: 


О, У(Х) < Порог 
1, У(Х) >, Порог 


Искусственный нейрон 
Опять настало время для эволюции нашего искусственного нейрона. Теперь нам нужно 
внести в его структуру, дополнительный вход и функцию активации. И чтоб не терять время зря, 
давайте сразу условимся — входных значений теперь у него может быть любое множество и это 
будет его окончательный вид, до того, как, он не приобретет способность к объединению с 
другими нейронами, создавая тем самым нейронную сеть. 
Окончательная модель внутренней структуры искусственного нейрона: 


Ч(х) = 


Входы Вес 


А нь 


и/2. | 
х2 Сумматор 


Функция 


акиливаиии 
|1 Выход 


Искусственный нейрон – математическая модель биологического нейрона. 

С функцией активации мы уже ознакомились, а вот про сумматор впервые слышим. 
Собственно, здесь ничего нового. Назначение сумматора — суммировать все входные 
произведения как мы условились до этого, при рассмотрении логической функции (И): х1у\1 + 
х2уү2 + үуЗ. Дополнительно о роли сумматора и функции активации мы поговорим ещё чуть 
ниже. 

Опишем еще раз принцип работы искусственного нейрона, и работу нашего нейрона в 
частности. 

Искусственный нейрон, как и биологический, через дендриты, имеет множество входных 
сигналов (х1, х2, х3...хп). Сигнал проходящий по связи от входа к сумматору, умножается со 
своим весовым коэффициентом (х1 *үу1, х2*үү2, х3*үүЗ... хп*үүп). Весовые коэффициенты играют 
роль синапсов, именно они имеют ключевую роль в обучении, изменяя в большую или меньшую 
сторону их значения, мы тем самым усиливаем или ослабляем связанный с соответствующим 
весом входной сигнал. Например, возьмём вход (х1), положим сигнал на этот вход-(х1= = 0,9), а 
соответствующий этому входу весовой коэффициент — (№1 = 0,2). Тогда их произведение даст 
значение на вход сумматора – 0,18. Нетрудно понять, что чем больше весовой коэффициент, тем 
большее количество входного сигнала поступит на сумматор и наоборот, а нулевое значение веса 
— обнулит входной сигнал на входе сумматора. После чего, все произведения по входным 
сигналам и соответствующим им весовым коэффициентам, передаются в сумматор. Уже исходя 
из его названия можно понять, в чем заключается суть его работы. Он просто суммирует все 
поступившие на его вход сигналы: 


и 
х1№м/1.+х20/2+----хиМ/ = > Хи 
(= 


Результатом работы сумматора является число, называемое — взвешенной суммой. 


Взвешенная сумма — это сумма входных сигналов, умноженных на соответствующие им 
весовые коэффициенты. 

Роль сумматора очевидна — он агрегирует все входные сигналы в одно число, взвешенную 
сумму, которая характеризует поступивший на искусственный нейрон сигнал в целом, выступая 
как степень его общего возбуждения. 

Но, просто подавая взвешенную сумму на выход — мы получим лишь линейный 
классификатор, который значительно ограничен по своему функционалу, так как ранее мы 
выяснили, что далеко не всё можно линейно классифицировать. Нейрон должен не просто 
принять взвешенную сумму, но и должным образом её обработать, сформировав тем самым 
нужный выходной сигнал. Для обработки взвешенной суммы используется — функция активации. 

Роль функции активации — преобразовать взвешенную сумму в определенное число, которое 
и будет является выходом нейрона. 


Ч = Ё Зам 
= 


Надеюсь, теперь вы получили полное представление о внутренней структуре искусственного 
нейрона. 


Практикум по функции логического (И) 


Ну что же, снова подкрепим теорию — практикой. Напишем в Руіћоп, программу, для 
обучения искусственного нейрона решать логическую функцию (И). Для этого добавим в нашу 
программу третий вход, а в качестве обучающей выборки будет выступать функция логического 
(И). Так же, внесем в цикл обучения условие преодоления порога — функцию активации 
единичного скачка. 

Текст программы: 


пирог гапаот 
пирог питру аз пр 


# Инициализируем любым числом крутизны наклона прямой у1 = А 
У\1 = гапдот.апопи(-4, 4) 
У\1_У15 = М1 # Запоминаем начальное веса \1 


# Инициализируем параметр №2 = Б — отвечающий за точку прохождения прямой через ось У 
№2 = гапдот.апопи(-4, 4) 
№2 уі = №2 # Запоминаем начальное значение веса №2 


# Инициализируем свободный параметр №3 = 


УЗ = гапдот.апопи(-4, 4) 
ҰЗ уі = №3 # Запоминаем начальное значение веса \3 


# Вывод данных начальных значений весовых коэффициентов 
ргіп'Начальные весовые коэффициенты!, \п\1 = ', \1, \а№2 =', №2, '\п\3З = ', \3) 


# Скорость обучения 

№ = 0.001 

Я Зададим количество эпох 

еросһѕ = 5000 

# Зададим порогединичной функции активации 
Баз = 3 


# Создадим массив данных функции логического (И) 
ое апа = пр.аггау([[0, 0, 0], 

[1, 0, 0], 

[0, 1,0], 

1,1, 1р 


# Прогон по выборке 

оге іп гапое(еросћѕ): 

Гог 1 ш гапое(0о апа.ѕһаре[0]): # ѕһаре — возвращает размерность массива, [0] — индекс числа 
строк в массиве 

Я Получить х1 координату точки 

хІ = 102 апа, 0] #1 – строка, 0 -столбец 


# Получить х2 координату точки 
х2 = ов апа[і, 1] #1 – строка, 1 -столбец 


# Взвешенная сумма 
у = (№1 * х1) + (№2 * х2) + №3 


Шу >= Маз: 

# Когда превышено пороговое значение, выход должен быть —у = 1 
у=1 

Я Получить целевую У, координату точки 

(агоеі У = оо апі, 2] #1 – строка, 2 -столбец 


# Ошибка Е = -(целевое значение — выход нейрона) 


Е = – ((агоеі Ү – у) 


Я Меняем вес при х1 
м1 - Е * Е * х1 


Я Меняем вес при х2 
№2 -= г *Е * х2 


# Меняем вес при х3 = 1 

№3 = Е * Е 

ебе: 

# Когда не превышено пороговое значение, выход должен быть — у = 0 
у= 0 

# Получить целевую Ү, координату точки 

(агоеі Ү = оо апі, 2] #1 – строка, 2 -столбец 


# Ошибка Е = -(целевое значение — выход нейрона) 
Е = – ((агоеі Ү – у) 


Я Меняем вес при х1 
м1 - К * Е * х1 


Я Меняем вес при х2 
Я 


Я Меняем вес при х3 = 1 
№3 -=Ш*Е 


Я Вывод данных готовой прямой 
рип(\пОбученные весовые коэффициенты”, \п\1 = ', \1, \п№2 =', №2, \п\3 =', №3) 


рип (‘\пПроверка логической функции (И):) 
ри ( 0, 0,', шЕ((О*\Т + О*%2 + №3)>=3), ')') 
ргіпі('( 1, 0,', (СТ + 0%\2+ м3)>=3), ')') 
ргіпі('( 0, 1,', шЕ((О*\Т + 1*%2+ м%3)>=3), ')') 
рип ( 1, 1,', ШК *\Т + 1%\/2- \3)>=3), ')') 


Результат работы программы: 


Начальные весовые коэффициенты: 
№1 = 0.949186992 1653935 

№2 = 1.28402471824886 

№3 = -0.08281146388 163485 


Обученные весовые коэффициенты: 
№1 = 1.23318699217 

№2 = 1.56802471825 

№3 = 0.201188536118 


Проверка логической функции (И): 

(0,0,0) 

(150,0 ) 

(0,1,0) 

Е 

По традиции, разберем код программы. 

Как и ранее, инициализируем начальные весовые коэффициенты случайным числом в 
диапазоне от -4 до 4 и запоминаем их для их последующего вывода: 


У\1 = гапдот.апопи(-4, 4) 

У\1_У15 = М1 # Запоминаем начальное веса у1 

№2 = гапдот.апопи(-4, 4) 

У\2_у5 = №2 # Запоминаем начальное значение веса \2 
УЗ = гапдот.апопи(-4, 4) 

ҮЗ уі = №3 # Запоминаем начальное значение веса \3 


После определение параметров скорости обучения и количества эпох, создаем двумерный 
массив (обучающую выборку) логической функции (И): 


# Создадим массив данных функции логического (И) 
ое. апа = пр.аггау([0, 0, 0], 

[150,0], 

[0, 1,0], 

П, 1, 1р 


Индексация двумерного массива не представляет из себя 


Силолдиы 


—ы 


О 


$ 


Силроки 1 
О 


1, 1, 1 


г» 
ооо 


сложного: 


Например, если мы хотим обратится к элементу 0 столбца, 1 строки: 


Силолдиы 


Силроки 1, 0, 


м № 
ооо 


м 


То для этого нам потребуется следующая запись в Ру@оп: 


аггау[1, 0] 


Первое число в квадратных скобках — индекс строки массива, второе – индекс столбца. 
Можно визуализировать индексацию двухмерного массива, следующим образом: 


ничего 


Индексы силолдиов 


а. 


ОО 0,1, 0,2. 


дексы 
Индекс 120 24 15 


и 
Кеи 2,0 2,1 2,2 


2,0 5,4. 5,2, 


В программе первые 2 столбца массива логической функции, представляют из себя входные 
данные, а 3 столбец — целевые значения. 


Так будет выглядеть цикл обучения: 


# Прогон по выборке 

оге іп гапое(еросһѕ): 

Гог 1 іп гапое(1оо апа.ѕһаре[0]): # ѕһаре — возвращает размерность массива, [0] — индекс числа 
строк в массиве 


Здесь, Іов апа.зВаре[0]: метод ѕһаре — возвращает количество строк и столбцов, их значения 
содержаться по 0 и 1 адресу функции. Так как в квадратных скобках мы обращаемся только к 0 
элементу этой функции, в котором содержится число строк в массиве, то соответственно 
получаем вложенный в эпохи цикл из 4 транзакций. 


Далее получаем координаты входных данных по каждой строке обучающей выборки 
(логической функции (И)): 


Я Получить х1 координату точки 
хІ = 102 апа, 0] #1 – строка, 0 -столбец 


# Получить х2 координату точки 


х2 =10ю> апі, 1] #1- строка, 1 столбец 


Рассчитываем взвешенную сумму: 


Я Взвешенная сумма 
у = (№1 * х1) + (№2 * х2) + №3 


Ну и наконец, создаем условие функции активации единичного скачка: 


Шу >= Маз: 

# Когда превышено пороговое значение, выход должен быть —у = 1 
у=1 

Я Получить целевую У, координату точки 

Гагоеі Ү = оо апа, 2] #1- строка, 2 — столбец 


# Ошибка Е = -(целевое значение — выход нейрона) 
Е = – ((агоеї Ү – у) 


Я Меняем вес при х1 
м1 - К * Е * х1 


Я Меняем вес при х2 
№2 -= Е *Е * х2 


Я Меняем вес при х3 = 1 

№3 = Е * Е 

ебе: 

# Когда не превышено пороговое значение, выход должен быть — у = 0 
у= 0 

# Получить целевую Ү, координату точки 

(агоеі Ү = оо апі, 2] #1 – строка, 2 — столбец 


# Ошибка Е = -(целевое значение — выход нейрона) 
Е = – ((агоеі Ү – у) 


Я Меняем вес при х1 
м1 -= Е *Е * х] 


# Меняем вес при х2 
мо ЕО 


# Меняем вес при х3 = 1 
№3 -= Е * Е 


Здесь все то же очень просто. Если взвешенная сумма равна, или превышает порог, то она 
должна принимать значение 1, которое гласит — что ответ верный: 


# Когда превышено пороговое значение, выход должен быть - у = 1 
у= 1 


Из нашей обучающей выборки получаем ответ (целевое значение): 


# Получить целевую Ү, координату точки 
(агоеі Ү = 10е апі, 2] #1 – строка, 2 столбец 


Еще раз напомню, что здесь мы обращаемся к 1 строке 2 столбца массива логической 
функции, то есть к целевым значениям. 


Далее, рассчитываем ошибку и меняем весовые коэффициенты, всё так как мы делали до 
этого: 


# Ошибка Е = -(целевое значение — выход нейрона) 
Е = – ((агоеі Ү – у) 


Я Меняем вес при х1 
\1 - Е * Е * х1 


Я Меняем вес при х2 


№ -=№*Е*х2 


Я Меняем вес при х3 = 1 
№3 -=Ш*Е 


В условии — иначе взвешенная сумма меньше порога — выход нейрона равен 0: 


# Когда не превышено пороговое значение, выход должен быть — у = 0 
у=0 


Далее так же, рассчитываем ошибку и меняем весовые коэффициенты. После чего выводим 
полученные, после обучения, весовые коэффициенты и делаем проверку логической функции с 
уже обученными коэффициентами: 


Я Вывод данных готовой прямой 
рпп(\пОбученные весовые коэффициенты”, '\п\1 = ', \1, \п\2 =', №2, \п\3 =', \3) 


рип(\иПроверка логической функции (И):) 
ри ( 0, 0,', шЕ((О*\1 + 0%\2 + \3)>=3), ')') 
ргіпі('( 1, 0,', КОТ + 0%\2+ м3)>=3), ')') 
ргіпі('( 0, 1,', мЕ((О*\Т + 1*%2+ м3)>=3), ')') 
рип ( 1, 1,', ШК *\Т + 1%\/2+ \3)>=3), ')') 


Результат работы программы: 


Начальные весовые коэффициенты: 
№1 = 0.9491869921653935 

№2 = 1.28402471824886 

№3 = -0.08281146388 163485 


Обученные весовые коэффициенты: 
№1 = 1.23318699217 

№2 = 1.56802471825 

№3 = 0.201188536118 

Проверка логической функции (И): 
(0,0,0) 

61:0: 05) 


Данный код, вы можете найти по следующей ссылке: 

Бр ://ораб .соп/СашаСап/пеига таз ег 

Как видим, мы смогли обучить нейрон решать задачу с дополнительным входным 
параметром и без использования линейного классификатора. Так же легко заметить, что в данной 
задаче параметр Ъ линейной функции, здесь уже не нужен. В самом деле, решить логическую 
функцию (И) можно и без него, например, если коэффициенты будут следующими - (\1 = 1,7 м2 
= 1,4), то с учетом пороговой функции: 

х1\1 + х2үу2 + М3 =0* 1,7 +0 *1,4+0=0 

х1\1 + х2\2 + М3 =1* 1,7 +0 *1,4+0=0 

х1%у1 + х2үу2 + М3 =0* 1,7 +1*1,4+0=0 

х1уү1 + х2%2 + \3 =1*1,7+1*1,4+0=1 

Хотя в целом, он далеко не бесполезен. Его основное свойство сдвигать значения 
активационной функции, относительно оси координат, в право или лево. Его так и называют — 
нейрон смещения. Это его свойство часто используют в нейронных сетях: 


р - смещение 


Если визуализировать, по отдельному входу, например – х1, все входные параметры и 
соответствующие ответы на выходе, получим следующую картину: 


® (х1=1, х2 =1) 


(х1=0, х2 = О 


или х2 = 1) (х1=1, х2=0) 


х1 


Из графика видно, что при одинаковых значениях: х1 = 1, ответ на выходе содержится не в 
единственном экземпляре. А благодаря функции активации, ответ будет зависеть от остальных 
входных параметров. 

С полученными значениями весов, нейрон интерпретирует все входные значения, что ниже 1, 
за нулевое, так как на его выходе получаем ноль: 


х1. = ом О до оо х2 = ом О до оо 
х2 = 1 Х1= 1 
У» У 
14 === 1 = 
НЕТ ДА НЕТ ДА 
х1<1.х2=1 х1э1,х2=1 жк х291,х1=1 
(х1=0, х2 = О (х1=0, х2 = О 
= (х1=1, х2=0 25 23, = 
Р... х2 = 1) + » ха или х2 = 1) Сек г 


ра 


Сам график очень напоминает пороговую функцию, с порогом 1. Иначе быть не могло, так 
как пороговая функция оперирует только 0 или 1. 
Функция логического (ИЛИ) 
Похожим образом разберем еще одну логическую функцию (ИЛИ). 
Логическое (ИЛИ), имеет следующую таблицу истинности: 


У – логическое ИЛИ 
тилининин. пилиниимныйня | 


Функцию логического (ИЛИ), можно назвать — логическом сложением. В самом деле: 


х1 + х2 =0+0=0 
х1 + х2 =1+0=1 
х1 + х2 =0+1=1 
х1 + х2 =1+1=1 


Так как значения логических функций — бинарные, то логическое сложение: 1+1 = 1. 

Внесем изменения в нашу последнюю программу, в части массива данных и проверки 
обученного нейрона. А также уберем параметр Б, посмотрим какими будут коэффициенты без 
него: 


пирог гапаот 

проге питру аз пр 

# Инициализируем любым числом крутизны наклона прямой №1 = А 
У\1 = гапдот.апопи(-4, 4) 

У\1_У15 = М1 # Запоминаем начальное веса у1 


# Инициализируем параметр №2 = Б — отвечающий за точку прохождения прямой через ос У 
№2 = гапдот.апопи(-4, 4) 
У\2_у5 = №2 # Запоминаем начальное значение веса №2 


# Вывод данных начальных значений весовых коэффициентов 
ргіп'Начальные весовые коэффициенты!, \п\1 = ', \1, \п\/2 =', №2) 


# Скорость обучения 

№ = 0.001 

# Зададим количество эпох 

еросһѕ = 5000 

# Зададим порогединичной функции активации 
Баз = 3 


# Создадим массив данных функции логического (И) 

Іо ог = пр.атау([[0, 0, 0], 

[1, 0, 11, 

[0, 1, 1, 

П, 1, 1р 

# Прогон по выборке 

{ог е ш гапое(еросћз): 

Юг 1 ш гапое(1о2 ог.ѕһаре[0]): # ѕһаре — возвращает размерность массива, [0] – индекс числа 
строк в массиве 

Я Получить х1 координату точки 

х1 = 109 ог|і, 0] #1- строка, 0 -столбец 


Я Получить х2 координату точки 
х2 = юе от 1] #1 – строка, 1 -столбец 


Я Взвешенная сумма 
у = (№1 *х1) + (№2 * х2) 


Шу >= Маз: 
# Когда превышено пороговое значение, выход должен быть —у = 1 
ЎЧ 


Я Получить целевую У, координату точки 
Гагоеі Ү = 109 огјі, 2] #1- строка, 2 -столбец 


# Ошибка Е = -(целевое значение — выход нейрона) 
Е = – ((агоеі Ү – у) 


Я Меняем вес при х1 
м1 -= Е *Е * х] 


# Меняем вес при х2 
№2 -= г *Е * х2 


ебе: 

# Когда не превышено пороговое значение, выход должен быть — у = 0 
у= 0 

# Получить целевую Ү, координату точки 

(агоеі Ү = 100 ог|і, 2] #1 – строка, 2 -столбец 


# Ошибка Е = -(целевое значение — выход нейрона) 
Е = – ((агоеі Ү – у) 


Я Меняем вес при х1 
м1 - Е * Е * х1 


Я Меняем вес при х2 
№2 -= Е *Е * х2 


Я Вывод данных готовой прямой 

рип(\пОбученные весовые коэффициенты”, \п\1 = ', №1, \п№2 =', №2) 
рип(\иПроверка логической функции (И):) 

ріп" ( 0, 0,', (0% + 0%\2)>=3), ")) 

рии ( 1, 0,', (С *\1 + 0%\2)>=3), ')') 

ри ( 0, 1,', ш((О*\1 + 1*%2)>=3), ")) 

ри( 1, 1,', зе + 1*%\2)>=3), ')') 


Результат работы программы: 


Начальные весовые коэффициенты: 
\1 = 3.611365134992452 
№2 = 3.8646266194092878 


Обученные весовые коэффициенты: 
№1 = 3.61136513499 
№2 = 3.86462661941 


Проверка логической функции (И): 
(0,0,0) 
(БО) 
СОЛ) 
(А) 


Бинго! И снова удача! 

Если более детально взглянуть на процесс обучения по одному из входов, то получим 
следующую картину: 

1) 

Входной параметр активен ( 

х=1 

), нейрон выдал правильный ответ (превышен порог), но ошибся ( 

у 

=1, но 

У 

=0 

): 

Ошибка: Е =- (Ү – у) = -(0 – 1) = 1; 

Обновление веса: м = ү – (Е * х1) = у – 1 

2) 

Входной параметр не активен ( 

х=0 

), нейрон выдал правильный ответ (превышен порог), но ошибся ( 

у 

=1, но 

У 

=0 

): 

Ошибка: Е =- (У- у) = -(0 – 1) = 1; 

Обновление веса: м = ү – (Е * х1) = у – 0 = ү 

Сразу делаем вывод, что при неактивном входном параметре, весовой коэффициент не 
меняется при любых целевых значениях и выходе нейрона. Поэтому, в дальнейшем не будем 
рассматривать варианты с неактивным входом. 

3) 

Входной параметр активен ( 

х=1 

), нейрон выдал правильный ответ (превышен порог), и не ошибся ( 

у 


): 

Ошибка: Е =- (Ү – у) = -(1-– 1) = 0; 
Обновление веса: м = ү – (Е * х1) = у -– 0 = ү 
4) 

Входной параметр активен ( 

х=1 

), нейрон выдал не правильный ответ (не превышен порог), и не ошибся ( 
5. 

=0 но 

У 

=0 


Ошибка: Е =- (У- у) = -(0 – 0) = 0; 

Обновление веса: м = ү – (Е * х1) = у -– 0 = ү 

5) 

Входной параметр активен ( 

х=1 

), нейрон выдал не правильный ответ (не превышен порог), и ошибся ( 
у 

=0 но 

У 

=1 

): 

Ошибка: Е = - (У – у) = -(1-0) = -1; 

Обновление веса: м = у – (Е * х1) = +1= ү +1 


Если внимательно присмотреться в эти данные, то можно сформулировать следующее 
правило: 

Если наш нейрон дал правильный ответ (ошибка равна 0), то ничего не предпринимаем. 

Если нейрон выдал правильный ответ, но ошибся, то мы должны его наказать за это — 
уменьшить веса тех связей, через которые прошел сигнал. А иными словами, те веса, которые 
связанны с возбудившимися входами, уменьшаются. 

Если нейрон выдал не правильный ответ и ошибся, то мы должны увеличить все веса, через 
которые прошел сигнал. Таким образом мы как бы говорим сети, что такие связи, а значит и 
связанные с ними входы – правильные. 

У такого правила есть свое имя – дельта правило. 

Дельта правило – метод обучения нейронапо принципу градиентного спуска по 
поверхности ошибки. 

Ну что же, если обратится к тому, что мы до сих пор прошли в этой главе, то смело можно 
утверждать, что теперь, после очередного этапа эволюции, наш нейрон научился принимать 
несколько входных параметров, а также решать задачи, которые невозможно решить линейной 
классификацией, путем внесения в его структуру функции активации. 


Распознавание цифры 
Любое цифровое изображение, как всем известно, состоит из пикселей. Очень удобно каждый 
пиксель представлять определенным числом. Так как мы пока оперируем дискретными 
значениями 0 и 1, то черный цвет будем представлять, как 1, а белый как 0. То есть наши цифры 


пока будут в черно – белом формате. Цифры будут состоять из черных пикселей разрешением 
ЭХЭ: 


Как и говорилось ранее, за белый пиксель отвечает 0, а черный - 1. Поэтому наши десять 
цифр от 0 до 9 в бинарном формате будут выглядеть следующим образом: 


оо аа ар о а ана ии 
©0211 10101 |01011 |101 [1100] |100 |0101 101 тол 11011 
оо[21| 11111] 1211121) |21111) |2111 [141 01011) |14111) |1111 |101 
ОО |1100] оо |010|1 001 |101 |001 |101 оО 11011 
оой |21111 111111 ОО |1111 |1111 101011 11111) |111] |111 


Для записи каждой цифры у нас используется пять строк и три столбца в каждой. Теперь 


уберем все переносы строк, чтобы получить для каждой цифры от 0 до 9 одну длинную строку 
длиной в 15 символов: 


1 – 001001001001001 
2 — 111001111001111 


9 = 111101111001111 

0 = 111101101101111 

Цифры в таком строковом формате уже можно использовать для обучения нейрона. 

С входными данными определились. А как быть с целевыми значениями? Давайте условимся, 
что правильный ответ будет находится по 0 адресу массива цифры. Добавим в начало массива 
элемент целевого значения: 

1 – 1001001001001001 

2 — 2111001111001111 


9 — 9111101111001111 

0 = 0111101101101111 

Вот собственно мы и имеем обучающую выборку, характеризующей определенное число, с 
входными данными и целевыми значениями. 

А вот так визуально можно представить входные данные, например, характеризующие число 
0, поступающие на вход искусственного нейрона: 


Входы Веса 


22 5 4 5 А 
оо т п 011 Нейрон 
0011 101011 |0011 |1011 209. 
10101 1111 |1111 |111 |1111 Функция 
001 100 001 001 601 Суммаитор 
0021 1111412] 11214] |01011] |11111 акиливации 
ЕЕ ЕЕТТЕРЕТЬ Выход 
а аа |21212 21112) 201212 
12001 002111011101 202 аи 
11112 208 11112] [1111 1201 
110011 100111 111011| |00111 111011 
12111 1001 11111! [112 12111 
© а 8 4 0) 


Пусть нашей новой задачей будет распознавание нужной для нас цифры. Например, пусть это 
будет цифра 0 (можно любую другую). 

Как мы уже говорили: обучающей выборкой будут все цифры от 0 до 9 в строковом формате, 
в виде одномерного массива, где 0 элемент — целевое значение. Когда нейрон обучится 
безошибочно распознавать нужную нам цифру (0), тогда, после обучения, мы проверим его 
“эрудицию”, на тестовой выборке. Её создадим похожим образом, как и обучающую, но она 
будет выглядеть немного иначе. Таких данных, как в тестовой выборке, нейрон еще не видел до 
этого, на вход будут подаваться уже искаженные изображения нуля. 

Программа 

Теперь давайте запишем все цифры от 0 до 9, в отдельный файл с расширением .сзу. Это 
достаточно популярный формат, создается в обычном офисном пакете типа “Ехсе]”, и кроме 
того, “Рућоп” умеет с ним работает. 

Вот так будет выглядеть наша обучающая выборка: 


[ЗВ ВВ с 
1 0,1,1,1,1,0,1,1,0,1,1,0,1,1,1,1 
2 |1,0,0,1,0,0,1,0,0,1,0,0,1,0,0,1 
3 |2,1,1,1,0,0,1,1,1,1,1,0,0,1,11 
4 |3;1,1,1,0,0,1,1,1,1,0,0,1,1,111 
5 |4,1,0,1,1,0,1,1,1,1,0,0,1,0,0,1 
6 
7 
8 
9 


|5,1,1,1,1,0,0,1,1,1,0,0,1,1,1,1 
16,1,1,1,1,0,0,1,1,1,1,0,1,1,1,1 
| 7,1,1,1,0,0,1,0,0,1,0,0,1,0,0,1 
18,1,1,1,1,0,1,1,1,1,1,0,1,1,1,1 
10 9,1,1,1,1,0,1,1,1,1,0,0,1,1,1,1 


Как видим, тут все достаточно просто. В каждой строке пишем, через запятую, значение 
пикселей определенной цифры, 0 или 1. Не забываем, что в начале списка следует ответ — какая 
эта цифра. 

Теперь давайте создадим отдельный файл с тестовой выборкой. Запишем в неё шесть видов 
искаженной цифры - ноль: 


А В с 
1 0,1,1,1,1,0,1,1,0,1,1,0,1,1,1,0 
2 0,1,1,1,1,0,1,1,0,1,1,0,1,1,0,1 
3 |0,1,1,1,1,0,1,1,0,1,1,0,1,0,1,1 
'0,0,1,1,1,0,1,1,0,1,1,0,1,1,1,1 
10,1,1,1,1,0,1,1,0,0,1,0,1,1,11 
0,1,1,1,1,0,1,0,0,1,1,0,1,1,1,1 


о ол Фф 


Для начала, загрузим в программу тренировочные данные из файла: 

# Загрузить и подготовить тренировочные данные из формата СЗУ в список ігаіпіпо Паѓа = 
ореп("аѓаѕе/Раѓа (гаїп.сѕу", 'т') # "Г – открываем файл для чтения 

гаїіпіпо даѓа 1156 = їгаіпіпо даѓа.геайіпеѕ() # теааіпеѕ() — читает все строки в файле в 
переменную ќгаіпіпо_ ааѓќа_ 1151 

ігатіпо аѓа.с1оѕе() # закрываем файл сѕу 

Функция ореп() — открывает файл и возвращает представляющий его объект. Аргументами 
данной функции являются: путь где находится наш файл (даазе/Оа (гаіп.сѕу), и режим 
открытия файла (в нашем случае ‘г’ – режим чтения). 

Таким же образом подгружаем данные для теста: 

# Загрузить и подготовить тестовые данные из формата СЗУ в список 

{е5_4аба = ореп("ааѓаѕе/аѓа (еѕі.сѕу", 'т') # 'Г – открываем файл для чтения 

еѕі даѓа 1151 = {е5{ Чаа.геа4Ппез()# Загрузить и подготовить тестовые данные из формата СЗУ 
в список 

геѕі_даѓа.с1оѕе() # закрываем файл сѕу 

Так как, начальные значения весовых коэффициентов могут принимать любые значения, то 
для простоты, обозначим их на старте как нулевые. Так как у нас 15 входов, то нам потребуется 
15 связей. Запишем их в виде одномерного массива с 15 нулевыми элементами: 

# Инициализация весов нейрона 

у\ее0$ = пр.7егоз(15) 


Метод 7его$(), модуля питру, создает нулевые элементы массива, в количестве указанным в 
скобках (аргумент). 

Задаем остальные параметры: 

# Скорость обучения 

Е=1 


Я Зададим количество эпох 
еросһѕ = 1000 


# Зададим порог единичной функции активации 
Баз = 3 
Так как мы оперируем только 0и 1, то и скорость обучения примем равной единице. 


Цикл обучения: 


# Прогон по обучающей выборке 

{оге ш гапое(еросћ): 

ог 1 іп ігаіпіпо Яаѓа 115: 

# Получить входные данные числа 

а] уајџеѕ = 1.5рі(',) # зр№МС,') – раздел строку на символы где запятая 
11риќѕ_х = пр.аѕѓаггау(а_ уаІџеѕ[1:]) 


ин 


‚ символ разделения 


# Получить целевое значение У, (ответ - какое это число) 
{агоеё У = па] уаІџеѕ[0]) # перевод символов в № 0 элемент — ответ 


# Переводим целевой результат в бинарный вид. Так как мы ищем только значение ноль, 
значит только он будет верным = 1. 
# остальные ответы, будут неверными, соответственно они обращаются в ноль. 


І (агоеі Ү == 0: 
Гагоеі У = 1 
е]ѕе: 

(агоеі Ү = 0 


# Взвешенная сумма 
у = пр.ѕшт(ууеіюћіѕ * іпри(ѕ х) 


у >= Ма: 
# Когда равно или превышено пороговое значение, выход должен быть – у = 1 
у 


# Ошибка Е = -(целевое значение — выход нейрона) 
Е = – ((агоеі Ү – у) 


# Меняем веса по каждому из входов (дельта правило) 
уе -= № * Е * приб х 


ебе: 
# Когда не превышено пороговое значение, выход должен быть — у = 0 
У 


# Ошибка Е = -(целевое значение — выход нейрона) 
Е = – ((агоеі Ү – у) 


# Меняем веса по каждому из входов (дельта правило) 
уе 5 -= № * Е * при х 


Здесь, в начале цикла получаем данные для приёма на вход нейрона: 

# Получить входные данные числа 

а] уаіџеѕ = 1.5рі(",) # зрШС,') — раздел строку на символы где запятая "," символ разделения 

шриб_х = пр.а5Раггау(а_уа1аез[1:]) 

Метод зрШМО – разбивает строки на список, который по умолчанию делает разбиение по 
пробелам. Указав в его аргументе - (','), мы разбиваем строки на список по запятым. Затем, 
начиная с первого элемента списка, записываем данные в переменную іприёѕ х. 

Таким же образом получаем целевое значение, которое хранится в нулевом адресе массива 
числа: 

# Получить целевое значение У, (ответ - какое это число) 

{агоеё У = Іпа] уашез[0]) # перевод символов в 1 0 элемент — ответ 


Так как мы ищем только число ноль и оперируем бинарными значениями 0 и 1, то верным 
ответом на выходе (у = 1) будет цифра, у которой нулевой элемент равен нулю (первая строка в 
списке файла тренировочных значений — число ноль): 

0 = 0111101101101111 

Что легко осуществить с помощью простого условия: 


# Переводим целевой результат в бинарный вид. Так как мы ищем только значение ноль, 
значит только он будет верным = 1. 

# остальные ответы, будут неверными, соответственно они обращаются в ноль. 

І (агоеі Ү == 0: 


Гагоеі У = 1 
е[ѕе: 
(агоеі Ү = 0 


Далее, действуем уже известным нам способом, находим взвешенную сумму и обновляем 
весовые коэффициенты с учетом функции активации: 


# Взвешенная сумма 
у = пр.ѕшт(ууеіоћіѕ * іпри(ѕ х) 


Шу >= Маз: 
# Когда равно или превышено пороговое значение, выход должен быть —у = 1 
УЕ 


# Ошибка Е = -(целевое значение — выход нейрона) 
Е = – ((агоеі Ү – у) 


# Меняем веса по каждому из входов (дельта правило) 
уе -= г * Е * при х 


ебе: 

# Когда не превышено пороговое значение, выход должен быть — у = 0 
у= 0 

# Ошибка Е = -(целевое значение — выход нейрона) 

Е = – ((агоеі Ү – у) 


# Меняем веса по каждому из входов (дельта правило) 
уе $ -= г * Е * при х 


А чтоб убедиться в том, что наш нейрон обрел “интеллект” и умеет отличать цифру ноль от 
остальных, выведем результаты на консоль: 


# Вывод обученых весов 
ргіп(' Весовые коэффициенты\п',№еісһіѕ) 


ог 1 ір ігаіпіпо Яаѓа 115: 

а] уајџеѕ = 1.5рі(',) # $=рії(',') – раздел строку на символы где запятая 
11риќѕ х = пр.аѕЃѓаггау(аП_ уаіоеѕ[1:]) 

рг11(10], ' это 0? ', пр.зат(мее $ * шриб_х)>=ЫМа$) 


ин 


‚ символ разделения 


# Проход по тестовой выборке 

{= 0 # Счетчик номера нуля тестовой выборки 

Ѓог1 ш ќеѕі даѓќа №: 

а] уаіџеѕ = 1.5рі(",) # зрШС,') — раздел строку на символы где запятая "," символ разделения 
11риќѕ х = пр.аѕЃѓаггау(а]_уаіоеѕ[1:]) 

+=1 

рип Узнал 0 — ',, '”', пр.5шт(меіоћіѕ * шриз_х)>=ЫМаз) 


Полный текст программы: 


птроге питру аз пр 


# Загрузить и подготовить тренировочные данные из формата СЗУ в список 

паште_Чава = ореп("аѓаѕе/Юаѓа (гаїп.сѕу", 'Г)#'г — открываем файл для чтения 

паште_Ааа_15( = Наште_Ааба.геа4Ипез() # теа4Ппез() — читает все строки в файле в 
переменную Нашие_4ава_ [151 

ігаіпіпо даѓа.с1оѕе() # закрываем файл сѕу 


# Загрузить и подготовить тестовые данные из формата СЗУ в список 

(еѕі_ даѓа = ореп("аѓаѕе/Оаѓа (еѕі.сѕу", 'т') # "г – открываем файл для чтения 

еѕі даѓа 1151 = {е5{ даа.геа4Ппез()# Загрузить и подготовить тестовые данные из формата СЗУ 
в список 

еѕі_даѓа.с1оѕе() # закрываем файл сѕу 


# Инициализация весов нейрона 
уе = пр.7егоѕ(15) 


# Скорость обучения 
ЕЕ 


# Зададим количество эпох 
еросһѕ = 1000 


# Зададим порог единичной функции активации 
Баз = 3 


# Прогон по обучающей выборке 

Юге ш гапее(еросв$): 

Юг1ш ігаіпіпо Яаѓа 115: 

# Получить входные данные числа 

а] уаіџеѕ = 1.5рі(',) # 5р") — раздел строку на символы где запятая "," символ разделения 
11риќѕ_х = пр.аѕѓаггау(а_ уаІџеѕ[1:]) 


# Получить целевое значение У, (ответ - какое это число) 
{агоеё У = па] уашез[0]) # перевод символов в пі, 0 элемент — ответ 


# Переводим целевой результат в бинарный вид. Так как мы ищем только значение ноль, 
значит только он будет верным = 1. 
# остальные ответы, будут неверными, соответственно они обращаются в ноль. 


Е ќагоеі Ү == 0: 


Гагоеі У =1 
е[ѕе: 
Гагоеі У = 0 


# Взвешенная сумма 
у = пр.ѕшт(ууеіюћіѕ * іпри(ѕ х) 


Шу >= Маз: 
# Когда равно или превышено пороговое значение, выход должен быть — у = 1 
у=1 


# Ошибка Е = -(целевое значение — выход нейрона) 
Е = – ((агоеї Ү – у) 


# Меняем веса по каждому из входов (дельта правило) 
меіоһћ5 -= г * Е * при х 


ебе: 
# Когда не превышено пороговое значение, выход должен быть — у = 0 
У=0 


# Ошибка Е = -(целевое значение — выход нейрона) 
Е = – ((агоеі Ү – у) 


# Меняем веса по каждому из входов (дельта правило) 
уе -= № * Е * при х 


# Вывод обученых весов 
ргіп(' Весовые коэффициенты\п',№меісһіѕ) 


# Еще раз пройдем по обучающей выборке 

Юг1ш ігаіпіпо Яаѓа 115: 

а] уајџеѕ = 1.5рі(',) # зрМС,') – раздел строку на символы где запятая 
11риќѕ_х = пр.аѕѓаггау(а_ уаІџеѕ[1:]) 

рг1000[0], ' это 0? ', пр.5шт(уеюћїѕ * шриз_х)>=Ыа$) 


ин 


‚ символ разделения 


# Проход по тестовой выборке 

{= 0 # Счетчик номера нуля тестовой выборки 

Ѓог1 ш ќеѕі даѓќа №: 

а] уаіџеѕ = 1.5рі(',) # 5рі',) — раздел строку на символы где запятая "," символ разделения 
11риќѕ х = пр.аѕЃѓаггау(а]_уаіоеѕ[1:]) 

і+= 1 

ріп('Узнал 0 — ',, '”, пр.5шт(меіюћіѕ * 1приќѕ_х)>=баѕ) 


Результат работы программы: 


Весовые коэффициенты: 
[0. 0. -2. 3. 0. 2. 0. -7. -2. 3. 0. 1. 0. 0. -2.] 


О это 0? Тше 
1 это 0? Еа[ѕе 
2 это 0? Еа[ѕе 
3 это 0? Еабе 
4 это 0? Еа[ѕе 
5 это 0? Еабе 
б это 0? Еабе 
7 это 0? Еабе 
8 это 0? Еабе 
9 это 0? Еабе 


Узнал 0 – 1 ? Тше 
Узнал 0 – 2 ? Тше 
Узнал 0 – 3 ? Тше 
Узнал 0 4 ? Тше 
Узнал 0 – 5 ? Тше 
Узнал 0 – 6 ? Тше 


Этот и другие исходники можно найти по ссылке: 


ћрѕ://оћоБ.сот/СапіаСап/пецџгаітаѕѓег 


Отлично, обученный нейрон распознал всю тестовую выборку! Хотя данные из этой выборки 
он до этого не встречал. Всего один единственный искусственный нейрон, способен решать 
такую сложную для компьютера задачу, как распознавание цифры. 


В дополнение, как видно, наш нейрон прекрасно справился с поставленной задачей без 
использования параметра линейной функции Б. При его наличии, он так же принимал бы 
активное участие в обучении, остальные веса так же обновлялись с его учетом, и в результате 
получили бы тоже верные ответы. 


Преимущества и недостатки между функцией единичного 
скачка и линейной функцией 


Да, введя в цикл обучения функцию активации (единичного скачка), мы значительно 
расширили функционал нашего нейрона. Теперь он способен по мимо классификации, еще и 
распознавать числа. Но избавившись от линейной классификации, заменив её на функцию 
единичного скачка, мы теперь можем оперировать лишь бинарными значениями - 0 и 1. Такое 
ограничение вызвано не следствием ухода от линейной классификации, а выбором функции 
активации. Так как сама функция единичного скачка способна работать лишь с такими типами 
данных. Очевидно, для того чтобы оперировать всем разнообразием числовых данных — 
необходима другая активационная функция. 


Логистическая функция (Сигмоидальная функция или 


сигмоида) 
Сигмоида — это гладкая монотонная нелинейная функция, имеющая форму буквы "5", 
которая применяется для «сглаживания» значений некоторой величины. 
Формула сигмоиды: 


1 


Ясыр в 


| аа 


Напомню, буквой е в математике принято обозначать константу, равную 2,7182... 

Функция сигмоиды стремиться к нулю при бесконечно малом значении аргумента х, и 
стремиться к единице, при бесконечно большом значении аргумента. Но она никогда не равна 
нулю, и не равна единице. При нулевом значении аргумента, функция равна значению 0,5. Что 
легко проверить, е в степени 0 равна единице, следовательно, значение сигмоиды: 1/1+1 = 0,5: 


Нетрудно заметить, что при больших или очень малых значениях сигнала, кривая 
сигмоидальной функции заметно спрямляется. Это чревато некоторыми проблемами. При 
нахождении градиента и последующим обновлением весов, величина градиента и 
соответственно обновления будет очень незначительной. Использование небольших значений 
градиента, значительно ограничивает способность нейрона к обучению. Иными словами, 
использование значений входных данных, значительно превышающих диапазон значений 
функции активации, заметно снижает или делают невозможным обучение. Так, например, если 
при использовании сигмоидальной функции активации, в обучающей выборке содержаться 
большие значения (например, от -1000 до 1000), то нейрон навряд ли сможет правильно пройти 
своё обучение. Если мы имеем такие входные параметры, то решить проблему обучения 
нейрона, можно стандартизацией данных. 

Стандартизация данных не обязательный материал в этой книге, так как в дальнейшем она 
нам не понадобится. Но если вы серьезно решите заняться наукой нейронных сетей, её 
необходимо знать. 

Стандартизация данных = процесс создания стандартных тестовых шкал или 
стандартизованных шкал. Для этого осуществляется 7, – преобразование первичных данных по 


следующей формуле: 


хі - Хер 


2.= 
рсо 


где хі — величина входного параметра в определенной строке, 

71 — стандартизованная величина для хі, 

Хер – среднее арифметическое значение столбца входных параметров 

Ьсо — стандартное отклонение входных параметров 

С первыми тремя неизвестными мы знакомы, а со стандартным отклонением нужно ещё 
познакомится. 

Что измеряет стандартное отклонение? 

Допустим у нас имеется некий набор входных данных х: 


Средние значения по столбцам Хер: 


900,125 832,5 


Стандартное отклонение, нам как раз и скажет, как отклоняются значения в выборке от 
среднего. С точки зрения стандартного отклонения, среднее значение будет эталонным и 
равняться нулю. Стандартное отклонение рассчитывается следующим образом: 


Где п – объём выборки. В нашем случае р = 4. 
Теперь нетрудно узнать значения стандартных отклонений Бсо: 


1003,18 62,38 


Видим, что в первом столбце каждое значение в выборке в среднем откланяется на 1003,18 от 
среднего значения, а во втором на 62,38. Это говорит о том, что разброс значений во втором 
столбце гораздо меньше чем в первом. Можно проверить результаты в программе “Ехсе!”, 
воспользовавшись функцией – СТАНДОТКЛОН. 


Ну и воспользовавшись формулой стандартизации данных, вычислим стандартизированные 
данные по столбцам 21 =(хі — Хер)/со: 


И =100 - 900,125/1003,18 = -0,80 21 =900 – 832,5/62,38 = 1,08 
21 =2000 – 900,125/1003,18 = 1,10 И =850- 832,5/62,38 = 


И =0,5 – 900,125/1003,18 = -0,90 И =750- 832,5/62,38 = - 
21 =150 - 900,125/1003,18 = 0,60 21 =830- 832,5/62,38 = 


А вот эти данные располагаются близко к области значений сигмоидальной функции, хоть и 
некоторые её значения выходят за диапазон сигмоиды. Но всё же, этого достаточно для 
нормального обучения нейрона. В таких областях кривая функции не так распрямлена, как при 
больших значениях. 

Теперь можно с уверенностью говорить, что мы можем применять сигмоидальную функцию 
на всем диапазоне входных данных! 


Распознаем цифру при помощи логистической функции 


активации 

Распознавать цифру 0 при помощи единичной функции мы уже умеем. Теперь давайте 
попробуем сделать то же самое, но с помощью сигмоидальной функции. 

Для чего нам такой диапазон значений? Ну, даже если обратится к нашему набору данных с 
цифрами, то они не так часто встречаются в строго черно белом формате. Они могут быть в 
цветном формате, или иметь градации серого. Так же на картинках с цифрами, могут 
располагаться различные шумы, например, “шальной” пиксель, который будет её искажать. 
Давайте проиллюстрируем сказанное: 


Надеюсь все хорошо помнят – как вычислять градиент? 


= А = (т - у)(-2) 


== ЕТ = 9) 


Так как выход нейрона – Кх) = у, а у это логистическая функция: 


1 


о ж 


то выражение 4у/А\, возможно решить продифференцировав как сложную функцию. 
С единичной функцией было все проще, так как это все же условие, а не функция. 
Давайте пробовать дифференцировать сигмоиду: 


у = ($1). 51 =2 их! 


0=2 


Здесь п – число входов нейрона, хі — сигнал на і-ом входе, а $) – функция активации. Тогда 
получим: 


ау Ё) (518; (м 
рт Зе 5 (9) = (©) хі 


Соберем наше уравнение избавившись от двойки: 


_ ЗЕ. 9. 
дамі 4у ам 


=-(Т - 4)*Е (50)*%; 


Как видим, добавился один элемент (#'(81)) — производная функции активации. В нашем 
случае — логистической функции (сигмоиды). К счастью, её производная довольна проста: 


= сигмоида = сигмоида(Х) * (1. - сигмоида (Х)) 
х 


Но всё же, для общего развития давайте разберем, как мы это получили. 
Воспользовавшись основным свойством производных от частного: 


Получим: 
і г СТРО | - = 
1 Ж д р") а. паа) _ О+(-в 5 . ЭЁ Я 
-хј ох Е 2 — 
о би (1+е^) (1+е®) (1+е* 
Так как: 


(2+6)? = (1+0) (1+е*) 
е х= 1+2" =1 


То получим окончательный вид формулы производной сигмоиды: 


6 2 1 


(2+е%у? 7 (2+—%) (2+) 


= сигмоида(х) * (1.- сигмоида(Х)) 


Что и требовалось доказать. 

Практика распознавания цифры с применением сигмоиды 

И по традиции закрепим результат практической работой. Здесь мы будем распознавать 
нужную нам цифру, а именно всё тот же ноль, с помощью сигмоидальной функции. Как 
говорилось ранее, при использовании данной функции, входные значения могут принимать 
значения от 0 до 1. 

Если данные значительно выходят за эти пределы, то можно применить стандартизацию 
входных данных. В дальнейшем, подавая на входы нейрона стандартизированные данные, 
нейрон сможет прекрасно обучаться. 

На вход будем подавать цифры в оттенках серого. Градация оттенков будет лежать в 
пределах от 0 до 1, выходить за эти пределы, следовательно, стандартизировать данные не 
будем: 


Входные данные так же помещаем в файл с расширением .сѕу: 


‘| А В с |р 
1 0,1,1,1,1,0,1,0.4,0,1,1,0,1,1,1,0.3 


| 


2 |1,0,0,0.3,0,0,1,0,0,1,0,0,0.7,0,0,1 


3 |2,1,1,1,0,0,1,1,0.5,1,1,0.2,0,1,1,1 
4 3,0.8,1,1,0,0,1,1,1,1,0,0.2,1,1,1,1 
5 |4,1,0,1,1,0.6,1,1,1,1,0,0,1,0,0,1 


6 5,1,1,0.6,0.6,0,0,1,1,1,0,0,0.8,1,1,1 
7 |6,0.5,1,1,1,0,0,1,0.7,1,1,0.7,1,1,0.8,1 


8 7,1,1,0.2,0,0,1,0.3,0,1,0,0,1,0,0,1 


9 8,1,1,1,0.5,0,1,1,1,1,1,0,1,1,0.6,1 
10 | 9,1,1,1,1,0,1,0.4,1,1,0,0,1,1,1,0.3 


Напомню: нулевой элемент — целевой результат (ответ). 


Данные для теста так же помещаем в отдельный файл: 


| А В о | 
1 [6..0-5..0,1.1,0,1,0.7.олл,0 

2 (0,1,1,1,0.9,0,1,1,0,0.8,1,0,1,1,1,0 

З 10,1,1,1,0.4,0,1,1,0,1,1,0,1,0,1,0.5 

4 |0,0,1,0.2,1,0,1,1,0,1,1,0,1,1,0.6,0.3 

5 00,1,0.6,1,1,0,1,1,0,0,1,0,1,0.7,1,1 

6 10,1,1,1,0.4,0,1,0,0,1,1,0,1,1,1,1 


В программе так же подключаем все необходимые модули и значения из файлов .сѕу: 


1тротї патру аѕ пр 


# Загрузить и подготовить тренировочные данные из формата СЅУ в список 

ігаіпіпо_ даѓќа = ореп("аѓаѕе/Юаѓа (гаіп.сѕу", 'т') # "г – открываем файл для чтения 

ігаіпіпо даѓа_ 1151 = Нашше Яаѓќа.геайіпеѕ() # геааіпеѕ() — читает все строки в файле в 
переменную Нашше_Даба_ 1151 

ігаітіпо даѓа.с1оѕе() # закрываем файл сѕу 


# Загрузить и подготовить тестовые данные из формата СЗУ в список 

{е5_4аба = ореп("даазе/Раа_4е$1.с$у", 'т') # 'Г – открываем файл для чтения 

еѕі даѓа 1151 = {е5{ Чаа.геа4Ппез()# Загрузить и подготовить тестовые данные из формата СЗУ 
в список 

еѕі_даѓа.с1оѕе() # закрываем файл сѕу 


Инициализируем параметры: 


# Инициализация весов нейрона 
уе = пр.7егоѕ(15) 


# Скорость обучения 
Е=0.1 


# Зададим количество эпох 
еросһѕ = 50000 


Создаем цикл обучения: 


# Прогон по обучающей выборке 

оге іп гапое(еросВ$): 

ог 1 іп ігаіпіпо Яаќа 115: 

# Получить входные данные числа 

а] уаіџеѕ = 1.5рі(",) # 5рі',) — раздел строку на символы где запятая 
шри_х = пр.аѕѓаггау(а_ уаІџеѕ[1:]) 


ин 


‚ символ разделения 


# Получить целевое значение У, (ответ — какое это число) 
{агоеё У = па] уашез[0]) # перевод символов в 1 0 элемент — ответ 


# Так как мы ищем только значение ноль, значит только он будет верным ответом = 1. 
# остальные ответы, будут неверными, соответственно они обращаются в ноль. 

І (агоеі Ү == 0: 

Гагоеі У = 1 

е]ѕе: 

(агоеі Ү = 0 


# Взвешенная сумма 

х = пр.ѕшт(ууеіюћіѕ * іпри(ѕ х) 
# Функция активации 

у = /(1+пр.ехр(-х)) 


# Ошибка Е = -(целевое значение — выход нейрона) 
Е = -((агоеі Ү – у) 


# Меняем веса по каждому из входов 
меһ -= № * Е *у * (1.0 – у) * приб х 


Здесь всё почти так же, как мы писали с функцией единичного скачка. Изменения коснулись 
условия — его нет, и значение на выходе проходит через активационную функцию — сигмоиду. 
Так же есть изменение в области обновления весовых коэффициентов. Сюда добавили 
производную функции активации (сигмоиды). 

Далее следует код вывода результатов на консоль: 


# Вывод обученных весов 
ргіп(' Весовые коэффициенты^п', \е1е 5) 


# Еще раз пройдем по обучающей выборке 

Юг1ш ігаіпіпо Яаѓа 115: 

а] уаіџеѕ = 1.5рі(",) # 5рі',) — раздел строку на символы где запятая 
1риќѕ х = пр.аѕЃѓаггау(а]_уаіиеѕ[1:]) 

х = пр.ѕшт(ууеіюћіѕ * іпри(ѕ х) 

рии [0], 'Вероятность что 0: ', 1/(1+пр.ехр(-х))) 


ин 


‚ символ разделения 


# Проход по тестовой выборке 

{= 0 # Счетчик номера нуля тестовой выборки 

Югтш (еѕї ааѓа_ 1: 

а] уајџеѕ = 1.5рі(',) # зр№МС,') — раздел строку на символы где запятая 
11риќѕ_х = пр.аѕѓаггау(а_ уаІџеѕ[1:]) 

+= 1 

х = пр.ѕшт(ууеіюћіѕ * іприбѕ х) 


ин 


‚ символ разделения 


рип ‘Вероятность что узнал 0 -'{, '?', 1/(1+пр.ехр(-х))) 


Полный тест программы: 


ппрой патру аѕ пр 


# Загрузить и подготовить тренировочные данные из формата СЗУ в список 

паште_Чаа = ореп("аѓаѕе/Юаѓа (гаіп.сѕу", 'т') # 'т – открываем файл для чтения 

паште_Ааа_15( = їгаіпіпо дӢаѓа.геайіпеѕ() # теааіпеѕ() — читает все строки в файле в 
переменную Наште_4аа_ 1131 

ігаіпіпо даѓа.с1оѕе() # закрываем файл сѕу 


# Загрузить и подготовить тестовые данные из формата СЗУ в список 

(еѕі_ даѓа = ореп("ааѓаѕе/аѓа (еѕ(.сѕу", 'т') # 'т – открываем файл для чтения 

еѕі даѓа 1151 = {е5{ ааѓа.геааіпеѕ()# Загрузить и подготовить тестовые данные из формата СЗУ 
в список 

геѕі_даѓа.с1оѕе() # закрываем файл сѕу 


# Инициализация весов нейрона 
уе = пр.7егоѕ(15) 


# Скорость обучения 
Е = 0.1 


# Прогон по обучающей выборке 

{ог е ш гапое(еросћз): 

Ѓог1 ір ігаіпіпо ааѓа 115: 

# Получить входные данные числа 

а] уаіџеѕ = 1.5рі(',) # 5рі',) — раздел строку на символы где запятая "," символ разделения 
11риќіѕ х = пр.аѕЃѓаггау(а]_уаіиеѕ[1:]) 


# Получить целевое значение У, (ответ - какое это число) 
{агоеё У = шКаП уашез[0]) # перевод символов в Ш 0 элемент — ответ 


# Так как мы ищем только значение ноль, значит только он будет верным ответом = 1. 
# остальные ответы, будут неверными, соответственно они обращаются в ноль. 

Е ќагоеі Ү == 0: 

Гагоеі У = 1 

е]ѕе: 

Гагоеі У = 0 


# Взвешенная сумма 

х = пр.ѕшт(ууеіюћіѕ * іприбѕ х) 
# Функция активации 

у = /(1+пр.ехр(-х)) 


# Ошибка Е = -(целевое значение — выход нейрона) 
Е = -((агоеі Ү —у) 


# Меняем веса по каждому из входов 
уеіоһћѕ -= г *Е *у * (1.0 – у) * 1приѕ х 


# Вывод обученых весов 
ргііп(' Весовые коэффициенты\п',№еісһіѕ) 


# Еще раз пройдем по обучающей выборке 

ог 1 іп ігаіпіпо Яаќа 115: 

а] уајџеѕ = 1.5рі(',) # $=рії(',') – раздел строку на символы где запятая 
11риќѕ_х = пр.аѕѓаггау(а_ уаІџеѕ[1:]) 

х = пр.ѕшт(ууеіюћіѕ * іприбѕ х) 

ргіп6(1[0], 'Вероятность что 0: ', 1/(1-+пр.ехр(-х))) 


ии 


‚ символ разделения 


# Проход по тестовой выборке 

{= 0 # Счетчик номера нуля тестовой выборки 

Югтш (еѕї ааѓа_ 1: 

а] уајџеѕ = 1.5рі(',) # зрМС,') – раздел строку на символы где запятая 
11риќѕ_ х = пр.аѕѓаггау(а_ уаІџеѕ[1:]) 

+= 1 

х = пр.ѕшт(уеіюћіѕ * іприбѕ х) 


ин 


‚ символ разделения 


ргіп' Вероятность что узнал 0 -',, '?', 1/(1+пр.ехр(-х))) 


Результат работы программы: 


Весовые коэффициенты: 

[0.44879589 -0.18430999 -0.02023563 2.0697523 -0.07193334 0). 17307025 
—2.1606589 -5.35195696 -1.45815401 3.73096992 -1.31490847 0.26365056 
0.52117981 0.94419683 -4.20017402] 


0 Вероятность что 0: 0.987440019679 

1 Вероятность что 0: 0.00493344023472 
2 Вероятность что 0: 0.00579884946 173 
3 Вероятность что 0: 1.14519734014е-05 
4 Вероятность что 0: 3.43432571255е-05 
5 Вероятность что 0: 4.53774043971е-05 
6 Вероятность что 0: 0.00591089049 169 
7 Вероятность что 0: 0.00365001935213 
8 Вероятность что 0: 0.00130998489482 
9 Вероятность что 0: 0.00885106765671 


Вероятность что узнал 0 —1 ? 0.964467249281 
Вероятность что узнал 0 —2 ? 0.98802530455 
Вероятность что узнал 0 —3 ? 0.614232538622 
Вероятность что узнал 0 – 4 ? 0.905331401561 
Вероятность что узнал 0 —5 ? 0.81811184231 
Вероятность что узнал 0 — 6 ? 0.74017734823 


Найти исходники, вы можете по следующей ссылке: 
ћрѕ://ойћоЬ.сот/СапіаСап/пеџгаітаѕѓег 


Видим, что после прогона по обучающей выборке, наш нейрон распознает число ноль без 
всякого труда (0,98744). Не удивительно, ведь он обучался на этой выборке. А вот по 
результатам прогона по тестовой выборке, значений которых нейрон еще не видел, вероятность 
заметно варьируется. Например, лучше всего он распознал второе тестовое обозначение нуля, 
его вероятность равна 0,988%. А хуже всех он распознал третье обозначение нуля – 0,614%. Но 
все же по многим значениям, результаты заметно выше 0,5. И можно говорить, что наш нейрон 
не ошибся в распознавании цифры ноль, ни на одном из примеров. 

Вот теперь преимущества функций активации, в частности сигмоиды, над линейной 
функцией очевидны. Мы можем принимать на вход неограниченное число параметров, из 
широкого диапазона числовых значений (с учетом статистической нормализации данных). 

Распознать число с использованием одной лишь линейной функцией классификации, не 


представлялось бы возможным. 
ГЛАВА 6 


Распознаем больше данных 

В этой главе рассмотрим сети из входных данных и нейронов. С помощью таких сетей, мы 

сможем распознавать ещё больше данных на выходе. 
Как распознать несколько данных 

Всё что мы делали до этого, при помощи линейной классификации и функций активации, мы 
могли лишь отделить, или распознать один конкретный тип данных от других. А что, если нам 
понадобится распознать не только цифру 0, а еще и к примеру цифру 1. Логичней всего 
представить второй такой же нейрон, как и с цифрой ноль, только вместо нуля он будет 
распознавать цифру 1: 


Входы Веса Нейрон 


х2 Функция 
х5 ‹ Суммаиор 
х4 акиливации 


Выход 


9 
(Распознаеил – О) 


Функция 


акиливации 
иии Выход 


Ну а так как они одновременно получают одни и те же данные, то логично будет их 
объединить: 


Функция 


ит  Сучммато 
У Р акиливации 


РЯ ие ой Выход 
а = > 


(Распознаеил – О) 


25У Еи ыы 


акиливации 


23; Ф Выход 
х За У №3 9 
МЕС: В - (Распознаеил - 1.) 


Теперь входы у нейронов общие, а весовые коэффициенты разные. У каждого коэффициента 
есть свой идентификационный номер, который говорит, к какому входу он принадлежит. Такой 
набор коэффициентов удобно представлять в виде двухмерного массива, где номера 
коэффициентов будут адресами элементов: 


Кол-во входных данных 


м2,1 м1,2 1,5 1,4... м1,12 м1,15 \/1,14 у/1,15 


м2,12 м2,2 м2,5 м2 ,4 ... м2,12 м2,15 м2,14 м2,15 


Кол-во нейронов 


где: 

Мл, - элеменил массива 

и - номер силроки массива 
ил – номер силолдиа массива 


Действия с матрицами 
В дальнейшем нам придётся выполнять действия с матрицами, а именно — перемножать. У 
матриц свои правила перемножения. 


Вот пример умножения одной матрицы на другую: 


1 2 ($ Ф ыы (1*6)+(2*8) \_ 
: 4 78 (5*5)+(4*7) (4*6)+(4*8)] 


+9 22 
45 50 


Возможно, вы уже догадались по каким правилам производится умножение. Если нет, то 
посмотрите на иллюстрацию, как получился первый элемент результирующей матрицы: 


И 


Е 2 , в © К (1*5)+(2*7) (1*6)+(2*8) 
_\(5*5)+(4*7) (4*6)(л*8) 


ШӘ 22. 
45 50 


Видим, что строки в первой матрицы, умножаются на соответствующие столбцы второй. 
В общем виде, правило умножения матриц будет выглядеть как: 


а №... 


Ш: _ рбае)(Ьча)+.. (а*Р)н(Ь*)н... 
ё й ГАЯ В 


(с*е)+(Ь*а)+.. (с*Ру-а*И)+... 


Если число столбцов в первой матрице, не равно числу строк во второй – то такие матрицы 
невозможно перемножить. Это правило мы должны обязательно учитывать в будущем: 


невозможно (число силрок и 
*[е Ё | = силолдиов между маилрииами 
не совладаеил 


а В е (а*е)+(6*Р) 
ж > 
са Е (с*е)+(4*Р) 
Как действия с матрицами могут нам помочь? Представим, для простоты, что имеется два 


входа и два нейрона. Каждый вход имеет одну связь с каждым нейроном, через которую 
проходит сигнал. Такой вид связи, называется — полносвязным: 


Входные . 
Нейроны 
данные 
О1= (х1%и01,1)+(х2*01.,2) 
(х2) сигмоида(О1) 1 
1+0 


, 1. 
сигмоида(02) _ 
( О2 резед а 140002) 


О2 = (х1*м2.,1)+(х2*02.,2) 


(22 2) А (= Е | маан лида : 05) 


м2,1 02,2. х2 Е (х1*02,1)+(х2*02,2) О2 


Это выражение можно записать ещё в более компактной форме: 

О= Ұ * І, 

Где № – матрица весов, 1 матрица входных данных, а О – результирующая матрица 
взвешенных сумм нейронов. 


Так же замечаем, что немного изменилась нумерация индексов весов. Теперь, индекс п 
(номер строки) — показывает с каким по счету нейроном установлена данная связь, а 
индекс т (номер столбца) — показывает индекс номера входных данных. 

Не нужно заботится о том, сколько узлов приходит на нейроны. Увеличение входных данных, 
приводит к увеличению размера матрицы по столбцам. А увеличение количества нейронов, ведет 
к увеличению размера матрицы по строкам. 

Вот так, легко и не принужденно, с помощью умножений матриц, мы можем вычислять 
взвешенную сумму в нейронах! 


Практика и ещё раз практика 


Напишем программу, которая будет распознавать несколько данных на выходе, а именно не 
только цифру 0, из нашего набора входных данных, но ещё и цифру 1. Для этого дополним 
данные в тестовой выборке, заполним её кроме шести тестовых значений нуля, шестью 
тестовыми значениями единицы: 


| А | В | С р 
| 0,1,0.5,1,1,0,1,1,0,1,0.7,0,1,1,1,0 
0,1,1,1,0.9,0,1,1,0,0.8,1,0,1,1,1,0 
10,1,1,1,0.4,0,1,1,0,1,1,0,1,0,1,0.5 
0,0,1,0.2,1,0,1,1,0,1,1,0,1,1,0.6,0.3 
10,1,0.6,1,1,0,1,1,0,0,1,0,1,0.7,1,1 

| 0,1,1,1,0.4,0,1,0,0,1,1,0,1,1,1,1 
1,0,0,1,0,0,1,0,0,1,0,0,1,0,0,1 

| 1,0,0,0.7,0,0,1,0,0,1,0,0,0.5,0,0,1 
|1,0.2,0,1,0,0,1,0,0,1,0.1,0,1,0,0,0.8 

| 1,0,0,1,0,0,0.5,0,0,1,0,0,0.9,0,0,1 
1,0,0,0.6,0,0.1,1,0,0,1,0,0,1,0,0,1 

| 1,0.1,0,1,0,0,0.8,0,0,0.9,0,0,0.7,0,0,1 
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— 
05) 


Структура такай сети уже приводилась, но давайте еще раз об этом вспомним, с учетом 
изменения нумерации весов: 


Функиия 


У Сумматор 
Же акиливации Вадева 
а Д 2 
хэс аи (Распознаеил – О) 
х4 “2,4 са, 


х12 290 а. Функция 

15-01 х < ОР одкиливации 
х25:2 <> Выход 
244 и 5 Ч 


кБ (Распознаеил -1.) 


Создавать в программе массивы весов, удобно в конструкторе класса. Для этого создадим 
класс — пеигоп_М№ и инициализируем параметры в его конструкторе (_ 10 _): 


Я Определение класса нейронной сети 
с1а5$ пеџгоп М№еї: 


# Инициализация весов нейронной сети 

ае ши _(зе!, шрш пит, пеџгоп пит, Іеатпіпргаѓќе): #констр.(кол-во входов, кол-во 
нейронов) 

# МАТРИЦА ВЕСОВ 

Я Задаем матрицу весов как случайное от -0,5 до 0,5 

зеЁ. мер {$ = (пр.гапаот.гапа(пеигоп_ пит, шри пит) -0.5) 

# Задаем параметр скорости обучения 

зе. № = Іеагпіпогаќе 


раѕѕ 


Здесь функцией пр.тапаот.гапа(пешоп пит, шриё пит) -0.5), задаем значение весов от -0,5 до 
0,5. Затем, эти значения присваиваем в переменную. 
После чего, здесь же (в классе), создаём метод (функцию класса) обучения сети: 


# Метод обучения нейронной сети 

ЧеЁ ташт(зе!, три |151, (агоез_1$0: # принимает (вх. список данных, ответы) 
# Преобразовать список входов в вертикальный массив. .Т — транспонирование 
при х = пр.атау(три 15% патш=2).Т # матрица числа 

Гагоеіѕ_Ү = пр.аггау((агоеіѕ_ 115, патш=2).Т # матрица ответов: какое это число 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ 

Я Вычислить сигналы в нейронах. Взвешенная сумма. 

х = пр.до зе. мею 5, іпршѕ х) # йог – умножение матриц Х = №*] = ме * шриб 
# Вычислить сигналы, выходящие из нейрона. Функция активации — сигмоида(х) 

у = И+пр.ехр(-х)) 


# ВЫЧИСЛЕНИЕ ОШИБКИ 
# Ошибка Е = -(цель — фактическое значение) 
Е = -((агоеѕ_Ү – у) 


# ОБНОВЛЕНИЕ ВЕСОВ 
# Меняем веса по каждой связи 
ѕе.ууеіоһіѕ -= зе г * пр.ао((Е * у * (1.0 – у)), пр.ігапѕроѕе(пршѕ_х)) 


раѕѕ 


Функции пр.аггау(1приіѕ 115, патіп=2).Т и пр.аггау(ёагоеіѕ 115, патш=2).Т, переворачивают 
входной вектор и вектор выходных значений соответственно. Что бы понять зачем это нужно, 
необходимо ещё немного дополнить знания по работе над матрицами. Нам нужно ознакомится с 
таким действием, как транспонирование матрицы. Чтобы наглядно понять, о чём идет речь, 
лучше всего проиллюстрировать данный процесс: 


а В а с 
с а р 4 


(а ьо = {ь 
а Ц , 
р = (а р с) 


С 


Ну и теперь все становится предельно ясно. Знак “Т” справа над матрицей — означает что 
данная матрица транспонируется. А сам процесс транспонирования — это ни что иное, как замена 
в массиве строк на столбцы и наоборот. 

После транспонирования наши входные и выходные данные, будут представляться в удобном 
для восприятия виде, а точнее — в вертикальных массивах, с которыми в дальнейшем мы уже 
сможем работать: 


(х1. Х2 ХЗ. К25 14.15) = 


х14 
х15 


Ну а применив к входным данным процесс умножения матрицы весов, который нам уже 
известен, мы сможем получать значения взвешенной суммы: 


и/1.,1 1,2. х1\ [(х1*21,1)+(х2%*01,2) 
* и 


и/2,1. м2.,2. х2. (х1*2,1)+(х2%02.,2) 


Этим и занимается выражение — пр.4озе[. ме1іоһѕ, при х). Метод .4о%, библиотеки питру, 
перемножает, по правилам, матрицы, которые содержаться в его аргументах. 

После чего, так же, как и в предыдущей программе, находим выходные значения, применив к 
взвешенной сумме функцию активации — у=1/1+пр.ехр(-х). Следом вычисляем ошибку на своих 
выходах – Е = -((агоеіѕ_Ү - у), и затем обновляем весовые коэффициенты — зе. \уе1е 6 -= зе. * 
пр.ао(Е*у*(1.0 —у)), пр.гапзрозе(три_х)). 

Если подробнее рассмотреть последнее выражение — пр.ӣо((Е*у*(1.0 - у), 
пр.ітапѕроѕе(іприќѕ х)), то можно заметить что произведение матрицы ошибки Е, матриц уи (1- 
У), выполняются поэлементно: 


Е (924 [2-91 Е1*41*(1 -у1) 
т т 


Е2] 4\42] 2-42. Е2*42*(1 -42) 


А уже результат этой матрицы, перемножается с матрицей входных данных. А мы знаем, что 
по правилу перемножения матриц, число столбцов в первой матрицы, должно быть таким же, как 
и число строк во второй матрице. Для этого нам необходимо развернут (транспонировать) 
матрицу входов: 


(Е КЕ ХЭ... ХЭ КОЕ 5) 


Эти преобразования осуществляет метод — .ігапѕроѕе(). А выражение пр.ігапѕроѕе(іприёѕ х), 
транспонирует входную матрицу. Ну а всё выражение целиком — пр.4оК(Е*у*(1.0 – у)), 
пр.гапзрозе(три_х)), перемножает между собой аргументы (матрицы): 


1*и1*%(1-и1. 
ЕРЕ) (х1 х2 Х5.. Х15 х14 х15) = 
Е2*42%*(1 -42) 


Е1*41%*(1-у1)* х1 ...Е1%*41%(1-у1)* х2 
Е2*42*(1-42)*х1. ...Е2*42*(1-42)*х1 


После чего результат перемножается на скорость обучения и обновляются весовые 
коэффициенты — зе. \мее $ -= зе. * пр.4оК(Е * у * (1.0 – у)), пр.ітапѕроѕе(іпри(ѕ_х)). 

Здесь же, в классе, создаем метод для прохода тестовых значений через сеть, который 
возвращает результаты на выходе: 


Я Метод прогона тестовых значений 

Че! адчегу(зе!, шриз_1$0: # Принимает свой набор тестовых данных 
# Преобразовать список входов в вертикальный 2р массив. 

шриб_х = пр.атау(приз_1$6 патш=2).Т 


Я Вычислить сигналы в нейронах. Взвешенная сумма. 
х = пр.аокзеР. ме, приќѕ_ х) 
# Вычислить сигналы, выходящие из нейрона. Сигмоида(х) 


у = /(1+пр.ехр(-х)) 


геќигп у 


Далее задаем параметры нашей сети: 


Я Количество входных данных, нейронов 
даа_триё = 15 
ааќа пешоп = 2 


# Скорость обучения 
Іеагпіпогаќе = 0.1 


# Создать экземпляр нейронной сети 
п = пешгоп М№Ме(даѓа іпри, даа пеџгоп, Іеагпіпогаѓе) 


И обучаем её: 


Я Зададим количество эпох 

еросһѕ = 40000 

# Прогон по обучающей выборке 

оге іп гапое(еросћѕ): 

ог 1 ір ігаіпіпо Чаѓа 115: 

# Получить входные данные числа 

а] уајџеѕ = 1.5рі(',) # $=рі(',') – раздел строку на символы где запятая 
шриб_х = пр.азРаггау(а_уа1аез[1:]) 


ин 


‚ символ разделения 


# Получить целевое значение У, (ответ - какое это число) 
Гагоеіѕ Ү = шКа| уаез[0]) # перевод символов в шь 0 элемент – ответ 


# создать целевые выходные значения (все 0.01, кроме нужной метки, которая равна 0.99) 
Гагоеіѕ_Ү = пр.7его$(даа_пеигоп) + 0.01 


# Получить целевое значение У, (ответ — какое это число). а] уаез[0] — целевая метка для 
этой записи 


Е ш(а| уаџеѕ[0]) <= 1: # цель <= 1 потому как распознаём только 2 числа, 0 и 1. 
(агое5 _У[пКаП_уааез$[0])] = 0.99 


п.(гаіп(1приќѕ_х, {агоез_У) # наш метод тат — обучение нейронной сети 


В этом отрывке, многое осталось от прошлого кода, только теперь выходные данные 
представляют из себя массив из двух элементов. Сначала создаем нулевой массив выходных 
данных — ќагреіѕ Ү = пр.тегоз(4айа пеџгоп) + 0.01, а затем помещаем значение 0.99 в индекс, 
который означает какое это число. Например, если это число выходит за пределы, которые мы 
распознаем, например число 3, то условие Ш шКаП уа[џеѕ[0]) <= 1, даст целевые результаты — 
{агое $ Ү =([0.01,0.01]).Т, то есть оба ответа неверные. Если это одно из чисел, которое мы 
распознаем, к примеру 1, то условие Ш шКа|Й уаІџеѕ[0]) <= 1, будет выполнятся и целевым 
результатом будет — 1агоев У =([0.01,0.99]).Т, то есть ответ что это 1. И ответ будет 
располагаться на своем индексе. Собственно, номер индекса в котором будет располагаться 
значение - 0.99, нам и будет говорить какое это число. 

Минимальные ответы - 0.01 и максимальные - 0.99, если прменяется сигмоида — не должны 
быть изначально в 0 или 1, так как это может привести к потере данных, в прошлом нам везло и 
сеть удачно распознавала данные со значениями 0 и 1 в целевых данных. 

После всех необходимых преобразований с входными данными и целевыми значениями, 
приступаем к обучению сети, путем обращения к методу — .ігаіп, нашего класса: 


п.ігаіп(1приќѕ_х, {агоез _У) 


Далее, по традиции следует вывод полученных результатов после обучения: 


# Вывод обученных весов 
ргіп(' Весовые коэффициенты, п.\еюН 6) 


# Еще раз пройдем по обучающей выборке 

Юг1ш ігаіпіпо Чаѓа 115: 

а] уајџеѕ = 1.5рі(',) # зрМС,') – раздел строку на символы где запятая 
шриб_х = пр.а5Раггау(аП_уа1аез[1:]) 

# Прогон по сети 

оири5 = п.доегу(іприіѕ_ х) 

рг1100(0], 'ВероятностьлАп', оџриќѕ) 


ини 


‚ символ разделения 


# Если вероятность больше 0,5 и номер выхода совпадает с ответом, то считаем что сеть, 
#на своем определенном выходе, узнала цифру. 

Ююг1ш гапо Чаѓа 115: 

а] уаіџеѕ = 1.5рі(",) # 5рі',) — раздел строку на символы где запятая 
шриб_х = пр.аѕЃѓаггау(а]_ уаіиеѕ[1:]) 


ин 


‚ символ разделения 


# Прогон по сети 

ошриќѕ = п.доегу(1приіѕ_ х) 

# индекс самого высокого значения соответствует метке 
Іабе] = пр.аготах(оџіриќѕ) 

І оиро Іабе]>0.5 апа шКаП_уаез[0]) == ІаБе!: 

ри [о], 'Узнал?: ', 'Да!') 

е]ѕе: 

рии [0], 'Узнал?: ', 'Нет!') 


# Проход по тестовой выборке 

{= 0 # Счетчик номера нуля тестовой выборки 

И =0 # Счетчик номера единицы тестовой выборки 
Ѓог1 ір (еѕї аӢаѓа |15: 

а] уајџеѕ = 1.5рі(',) # $=рії(',') – раздел строку на символы где запятая 
11риќѕ_х = пр.аѕѓаггау(а_ уаІџеѕ[1:]) 

ё+= 1 

# Прогон по сети 

ошриќѕ = п.доегу(1приіѕ_ х) 

# индекс самого высокого значения соответствует метке 
Іабе] = пр.аготах(ошіриіѕ) 

ЇЕ <= 6: 

рип ‘Вероятность что узнал 0 -',, '?', ошриєѕ Пабе]) 

е]ѕе: 

И += 1 

рип ‘Вероятность что узнал 1 -',(1, '?', оџршѕ[аБе!]) 


ин 


‚ символ разделения 


{= 0 # Счетчик номера нуля тестовой выборки 

И =0 # Счетчик номера единицы тестовой выборки 

# Если вероятность больше 0,5 и номер выхода совпадает с ответом, то считаем что сеть, 
#на своем определенном выходе, узнала цифру. 

{ог 1 ш (еѕї ааѓа |: 

а] уајџеѕ = 1.5рі(',) # зрМС,') – раздел строку на символы где запятая 
1риќѕ х = пр.аѕЃѓаггау(а]_уаіоеѕ[1:]) 

# Прогон по сети 

ошриќѕ = п.доегу(1приіѕ_ х) 

# индекс самого высокого значения соответствует метке 

Іабе] = пр.аготах(ошіриіѕ) 

г+= 1 

Е ори абе]>0.5 апа шКаП_уа1аез[0]) == 1аБе!: 

рип [О], 'Узнал?:',, 'Да!') 

ее: 

И +=1 

рі11010], 'Узнал?:', 41, 'Нет!') 


ин 


‚ символ разделения 


При тестовых проходах, по обучающей и тестовой выборок, сначала выводим вероятности 
распознавания цифры (ответы сети), а затем, через условие: если эти ответы больше значения 
0.5, и индекс максимального числа из матрицы результатов ответа сети, равен индексу ответов из 
матрицы целевых значений, то сеть распознала цифру, в противном случае не распознала. 


Полный текст программы: 


пирог питру аз пр 


# Загрузить и подготовить тренировочные данные из формата СЗУ в список 

паште_Чава = ореп("аѓаѕе/Юаѓа (гаїп.сѕу", 'т') # "г — открываем файл для чтения 

паште_Ааа_15( = їгаіпіпо дӢаѓа.геайіпеѕ() # теааһпеѕ() — читает все строки в файле в 
переменную Нашие_4ава_ [151 

ігаіпіпо даѓа.с1оѕе() # закрываем файл сѕу 


# Загрузить и подготовить тестовые данные из формата СЅУ в список 

(еѕі_ даѓа = ореп("даазеРаа_1е$1.с$у", 'т') # 'Г – открываем файл для чтения 

еѕі даѓа 1151 = {е5{ даа.геа4Ппез()# Загрузить и подготовить тестовые данные из формата СЗУ 
в список 

еѕі_даѓа.с1оѕе() # закрываем файл сѕу 


# Определение класса нейронной сети 
сІаѕ5 пеигоп_МеЕ 


# Инициализация весов нейронной сети 

аеҒ _ ши (зе, шри пит, пецгоп пит, Іеагпіпогаѓе): #констр.(кол-во входов, кол-во 
нейронов) 

# МАТРИЦА ВЕСОВ 

# Задаем матрицу весов как случайное от -0,5 до 0,5 

ѕеҒ.ууеіоһіѕ = (пр.гапаот.гапа(пеогоп пит, іприё пит) -0.5) 

# Задаем параметр скорости обучения 

зеЁ.№ = Јеагпіпогаќе 


раѕѕ 


# Метод обучения нейронной сети 

ае ігаіп(ѕе1, іприќѕ |151, ќагоеѕ_ 1151): # принимает (вх. список данных, ответы) 
# Преобразовать список входов в вертикальный массив. .Т — транспонирование 
при х = пр.атау(три 115, патш=2).Т # матрица числа 

(агоеіѕ Ү = пр.аггау(ќагоеіѕ 1151, патш=2).Т # матрица ответов: какое это число 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ 


Я Вычислить сигналы в нейронах. Взвешенная сумма. 

х = пр.до зе. мею 5, іпршѕ х) # йог – умножение матриц Х = №*] = уе * шриб 
# Вычислить сигналы, выходящие из нейрона. Функция активации – сигмоида(х) 

у = /(1+пр.ехр(-х)) 


# ВЫЧИСЛЕНИЕ ОШИБКИ 
# Ошибка Е = -(цель — фактическое значение) 
Е = -((агоеѕ_Ү —у) 


# ОБНОВЛЕНИЕ ВЕСОВ 
# Меняем веса по каждой связи 
зеЁ.\уеюВ {$ -= зе РГ * пр.4оК(Е * у * (1.0 – у)), пр.хапзрозе(три_х)) 


раѕѕ 


# Метод прогона тестовых значений 

Че! адчегу(зе!, шриз_1$0: # Принимает свой набор тестовых данных 
# Преобразовать список входов в вертикальный 2р массив. 

шриб_х = пр.атау(приз_1$6 патш=2).Т 


Я Вычислить сигналы в нейронах. Взвешенная сумма. 

х = пр.аоКзе[. ме, приќѕ_ х) 

# Вычислить сигналы, выходящие из нейрона. Сигмоида(х) 
у = И+пр.ехр(-х)) 


геаги у 


# ЗАДАЁМ ПАРАМЕТРЫ СЕТИ 

Я Количество входных данных, нейронов 
ааќа іприѓ = 15 

ааќа пешоп = 2 


# Скорость обучения 
Іеагпіпогаќе = 0.1 


# Создать экземпляр нейронной сети 
п = пешгоп М№Ме(даѓа іприє, 4аа_пеигоп, Іеагпіпогаѓе) 


# ОБУЧЕНИЕ 

# Зададим количество эпох 

еросһѕ = 40000 

# Прогон по обучающей выборке 

Юге ш гапое(еросћ): 

ог 1 іп ігаіпіпо Чаѓа 115: 

# Получить входные данные числа 

а] уајџеѕ = 1.5рі(',) # зрМС,') – раздел строку на символы где запятая "," символ разделения 
шриб_х = пр.аѕЃѓаггау(аП_ уаіоеѕ[1:]) 


# Получить целевое значение У, (ответ — какое это число) 
Гагоеіѕ У = шКа| уаиеѕ[0]) # перевод символов в іп, 0 элемент – ответ 


# создать целевые выходные значения (все 0.01, кроме нужной метки, которая равна 0.99) 
Гагоеіѕ_Ү = пр.7егоѕ(Ӣаѓа пеџгоп) + 0.01 


# Получить целевое значение У, (ответ — какое это число). а] уаез[0] — целевая метка для 
этой записи 

Е ша уаџеѕ[0]) <= 1: # цель <= 1 потому как распознаём только 2 числа, 0 и 1. 

(агое _У[пКаП_уаез$[0])] = 0.99 


п.ігаіп(1приќѕ_х, {агоез_У) # наш метод тат — обучение нейронной сети 


# Вывод обученных весов 
ргіп(' Весовые коэффициенты^\п', п.\еюй 6) 


# Еще раз пройдем по обучающей выборке 

Юг1ш ігаіпіпо Яаѓа 115: 

а] уаіџеѕ = 1.5рі(",) # зрШС,') — раздел строку на символы где запятая "," символ разделения 
11риќѕ_х = пр.аѕѓаггау(а_ уаІџеѕ[1:]) 

# Прогон по сети 

оири$ = п.доегу(1приіѕ_ х) 

ри [0], 'Вероятностьл\п', оџіриќѕ) 


# Если вероятность больше 0,5 и номер выхода совпадает с ответом, то считаем что сеть, 
#на своем определенном выходе, узнала цифру. 

ог 1 ір ігаіпіпо Яаќа 115: 

а] уајџеѕ = 1.5рі(',) # $=рії(',') – раздел строку на символы где запятая 
11рибѕ_х = пр.аѕѓаггау(а_ уаІџеѕ[1:]) 


ин 


‚ символ разделения 


# Прогон по сети 

ори = п.дацегу( при _х) 

# индекс самого высокого значения соответствует метке 
Іабе] = пр.аготах(ои ри) 

Е ори Пабе]>0.5 апа шКаП_уашез[0]) == ІаБе!: 

рии [о], 'Узнал?: ', 'Да!') 

ее: 

рии [0], 'Узнал?: ', 'Нет!') 


# Проход по тестовой выборке 

{= 0 я Счетчик номера нуля тестовой выборки 

И =0 # Счетчик номера единицы тестовой выборки 

ог 1 ір (еї аӢаѓа |15: 

а] уајџеѕ = 1.5рі(',) # $=рі(',) – раздел строку на символы где запятая 
11риќѕ х = пр.аѕЃѓаггау(а]_уаіоеѕ[1:]) 

+= 1 

# Прогон по сети 

ошриќѕ = п.доегу(1приіѕ_ х) 

# индекс самого высокого значения соответствует метке 
Іабе] = пр.аготах(ошіриіѕ) 

ШЕЕ <= 6: 

рип ‘Вероятность что узнал 0 -',, '?', ошриєѕ Пабе]) 

ебе: 

1 += 1 

рип ‘Вероятность что узнал 1 -',(1, '?', оџршѕ[аБе!]) 


ин 


‚ символ разделения 


{= 0 # Счетчик номера нуля тестовой выборки 

И = 0 # Счетчик номера единицы тестовой выборки 

# Если вероятность больше 0,5 и номер выхода совпадает с ответом, то считаем что сеть, 
#на своем определенном выходе, узнала цифру. 

Ғог 1 іп їеѕї даѓа |і: 

а] уајџеѕ = 1.5рі(',) # $=рії',') – раздел строку на символы где запятая 
шри_х = пр.азЁаитау(аП_уаез[1:]) 

# Прогон по сети 

ори = п.доегу(1приіѕ_ х) 

# индекс самого высокого значения соответствует метке 

1аБе! = пр.аготах(ои ри) 

+=1 

Е ори абе]>0.5 апа шКаП_уаез[0]) == ІаБе!: 

рип [О], 'Узнал?:',, 'Да!') 

ее: 

И +=1 

рип [О], 'Узнал?:', 41, 'Нет!') 


ин 


‚ символ разделения 


Результат работы программы: 


Весовые коэффициенты: 


[[ 0.55376239 -0.2659114 -0.55801795 1.63794241 -0.39180754 0.18253672 

—1.86935497 -4.51957151 -1.10400713 3.68316632 -1.31690796 0.48928634 
0.63951451 0.6593403 -3.74255197] 

[-4.18510101 -3.35072555 -0.15142484 -0.89959198 -0.54914752 1.80364436 
—2.10131379 -0.79061126 0.94477939 0.27198919 -0.42900452 0.13232677 

—0.54182952 0.16586589 1.24938759]] 


0 Вероятность: 
[[ 0.98282717] 
[0.0018778 ]] 

1 Вероятность: 
[[ 0.01110791] 
[0.98279182]] 
2 Вероятность: 
[[ 0.01280932] 

[ 0.00169931 ]] 
3 Вероятность: 
[[ 4.97172575е-05] 
[2.29715820е-03]] 
4 Вероятность: 
[[ 0.00010462] 
[0.0130299 ]] 
5 Вероятность: 
[[ 0.00018235] 

[ 0.00010789]] 
6 Вероятность: 
[[ 0.01247943] 

[ 0.00070262]] 
7 Вероятность: 
[1 0.01036096] 
[0.01685072 ]] 
8 Вероятность: 
[1 0.00498377] 
[0.00085023] 
9 Вероятность: 
[[ 0.01543393] 
[0.00064968]] 


0 Узнал?: Да! 

1 Узнал?: Да! 

2 Узнал?: Нет! 
3 Узнал?: Нет! 
4 Узнал?: Нет! 
5 Узнал?: Нет! 
6 Узнал?: Нет! 
7 Узнал?: Нет! 
8 Узнал?: Нет! 
9 Узнал?: Нет! 


Вероятность 


что узнал 0 – 1 ? [ 0.95590294] 


Вероятность что узнал 0 – 2 ? [ 0.98378171] 
Вероятность что узнал 0 – 3 ? [ 0.63522571] 
Вероятность что узнал 0 – 4 ? [ 0.92786908] 
Вероятность что узнал 0 – 5 ? [ 0.78988343] 
Вероятность что узнал 0 — 6 ? [ 0.76715129] 
Вероятность что узнал 1 – 1 ? [ 0.98163393] 
Вероятность что узнал 1 – 2 ? [ 0.98125632] 
Вероятность что узнал 1 – 3 ? [ 0.94877843] 
Вероятность что узнал 1 – 4 ? [ 0.95536855] 
Вероятность что узнал 1 —5 ? [ 0.9817356] 


Вероятность 


что узнал 1—6 ? [ 0.95543842] 


0 Узнал?: | Да! 
0 Узнал?: 2 Да! 
0 Узнал?: 3 Да! 
0 Узнал?: 4 Да! 
0 Узнал?: 5 Да! 
0 Узнал?: 6 Да! 
1 Узнал?: 7 Да! 
1 Узнал?: 8 Да! 
1 Узнал?: 9 Да! 
1 Узнал?: 10 Да! 
1 Узнал?: 11 Да! 
1 Узнал?: 12 Да! 


Код программы можно найти по следующей ссылке: 


ћрѕ://о1ћир.сот/СатаСап/пеџгаітаѕѓег 


В обучающей выборке вероятность нахождения числа превышает 0.98. Большинство 
вероятностей нахождения числа из тестовой выборки, превышает 0.95, а в среднем это значение 
около 0,91. А в итоге, в обучающей и тестовой выборке, сеть распознала всё без исключения, 
100% результат. Что весьма неплохо! 

Как вы понимаете, добавив еще восемь нейронов и объединив их связями с входными 
данными, где каждый нейрон будет отвечать за свою отдельную цифру, можно распознавать весь 
набор чисел (от 0 до 9), а добавив ещё нейронов, отвечающих за символы, можно и помимо 
чисел распознавать и символы, как печатные, так и рукописные. 

Входными значениями, могут служить не только значения цифр или символов, они могут 
быть любыми другими. Например, хотя бы всё те же параметры животных, входными 
параметрами которых будут являться их вес, пол, возраст, любые другие параметры их тела и так 
далее. А целевыми результатами, будет ответ какое животное соответствует этим всем 
параметрам. Входных параметров и целевых результатов, может быть огромное множество. 

Резюмируя всё выше сказанное, можно с уверенностью утверждать, что мы проделали 
огромный путь, в ходе которого наш нейрон эволюционно многому научился. От начала своего 
появления, с возможностью принимать только один входной параметр и классифицировать 
только два вида входных данных, до того что он приобрел способности принимать на вход 


неограниченное число данных, и объединившись с ними в сети, стало возможным получать 
неограниченное число ответов на выходе. 


ГЛАВА 7 


Нейронные сети 
В этой главе рассмотрим ситуации, когда с выходов одних нейронов (аксонов), сигналы 
поступают на вход других (дендриты). 


Виды искусственных нейронных сетей 

Мы разобрались со структурой искусственного нейрона. 

Искусственные нейронные сети, состоят из множественных соединений нейронов между 
собой. 

До этого мы рассмотрели вариант, когда входные данные сразу подавались на входы 
нейронов. В большинстве нейронных сетей, входные данные называют -— входным слоем. 
Входной слой выполняет задачу — распределения входных сигналов между нейронами, никаких 
вычислений он не производит. Группа нейронов, на которые поступает сигнал от входного слоя, 
называется – скрытым слоем. Скрытых слоев может быть несколько. Ну а группу нейронов, с 
которых мы считываем данные (ответы сети), называют — выходным слоем. Иллюстрация выше 
сказанного, наглядно всё покажет: 


Скрытый Скрымлый 


мы“ о 1. ея о 
Входной ^0“ № слой №2. м 
сее Выходной 
слой 


Подобная структура нейронных сетей копирует многослойную структуру биологического 
головного мозга. 


285 К У 
Беат | И) а 


б - ЗЕРНИСТЫЕ КЛЕТКИ 


@-Ансоны СЕТЕВИДНОЙ 
СИСТЕМЫ 


2 - ПИРАМИДНЫЕ КЛЕТНИ 


АН А, 
91:0 2 90 


6-й слой 


ПОДКОРКОВЫЕ ЯДРА 


Неслучайно скрытый слой получил такое название. Разработать алгоритмы обучения 
нейронов срытого слоя, удалось в последнюю очередь. До этого, как и мы с вами, умели обучать 
нейроны лишь с одним слоем. 

Многослойные нейронные сети, имеющие хотя бы один скрытый слой, обладают гораздо 
большими возможностями, чем однослойные. 

Преимущества многослойных сетей 

Ограничения при использовании лишь одного слоя, можно показать на решение задачи, 
путем обучения однослойной сети, логического “исключающее или”, или других логический 
функций, которые мы рассматривали, и как её еще называют — “ХОК”. Логическая функция — 
“исключающее или”, имеет следующую таблицу истинности: 


У – Исключающее ИЛИ 


Если взять нашу однослойную сеть, которую мы программировали последней, заменить в 
файлах входные и тестовые данные, на функцию “исключающее или” и поменять параметры по 
количеству входных данных и нейронов, то в итоге получим сеть, которая будет пытаться 
обучиться решить задачу данной функции. 


Меняем входные данные в обучающей выборке, на значения из таблицы истинности 
логического “исключающее или”: 


| А 
1 10,0,0 
2 1,110 
3 [1,0 
4 |0,11 


Менять данные в тестовой выборке, в данном примере нет необходимости, так как значения 
идентичны с обучаемой. Тестировать будем на обучающих примерах. 
Чтобы не менять программу, оставим за нулевым элементом право на целевое значение 
логического “исключающее или”. 
Изменим параметры количества данных и нейронов: 


Я Количество входных данных, нейронов 
ааѓа іпри =2 
ааќа пешоп = 2 


Сделаем вывод выходных данных: 


# Прогоним входные данные из обучающей выборки через обученную сеть 
{ог 1 ш ігаіпіпо даѓа 115: 

а] уаіџеѕ = 1.5рі(",) # 5рі',) — раздел строку на символы где запятая 
11риќѕ х = пр.аѕЃѓаггау(аП_ _уаіиеѕ[1:]) 

# Прогон по сети 

оириќѕ = п.доегу(1приіѕ_ х) 

ріпа] уаіоеѕ[1], 'ХОК', а] уаіџеѕ[2], ооёриќѕ) 


ин 


‚ символ разделения 


И всё, наша программа готова. 
Но все же стоит привести полный текст программы: 


птроге питру аз пр 

# Загрузить и подготовить тренировочные данные из формата СЗУ в список 

ігаіпіпо даѓќа = ореп("аѓаѕе/Раѓа (гаіп.сѕу", 'т') # 'г – открываем файл для чтения 

паште_Ааба_15( = Наште_Ааба.геа4Ипез() # теааіпеѕ() — читает все строки в файле в 
переменную Наште_Даба_ 151 

ігаіпіпо даѓа.с1оѕе() # закрываем файл сѕу 


# Загрузить и подготовить тестовые данные из формата СЗУ в список 

(еѕі_ даѓа = ореп("даазе/Раа_4е$1.с$у", 'т') # 'Г – открываем файл для чтения 

еѕі даѓа 1151 = {е5{ даа.геа4Ппез()# Загрузить и подготовить тестовые данные из формата СЗУ 
в список 

еѕі_даѓа.с1оѕе() # закрываем файл сѕу 

# Определение класса нейронной сети 

с1а5$ пеџгоп М№ег: 

# Инициализация весов нейронной сети 

аеҒ _ ши (зе, шри пит, пецгоп пит, Іеагпіпогаѓе): #констр.(кол-во входов, кол-во 
нейронов, скорость обучения) 

# МАТРИЦА ВЕСОВ 

# Задаем матрицу весов как случайное от -0,5 до 0,5 

ѕеҒ.ууеіоһіѕ = (пр.гапаот.гапа(пеогоп пит, іприё пит) -0.5) 

# Задаем параметр скорости обучения 

ѕеІЕ.1с = Іеагпіпогаќѓе 


раѕѕ 


# Метод обучения нейронной сети 

аеғ ігаіп(ѕеіЄ, три |151, (агое(ѕ_ 50): # принимает (вх. список данных, ответы) 
# Преобразовать список входов в вертикальный массив. .Т — транспонирование 
приб х = пр.атау(три 115% патш=2).Т # матрица числа 

(агоеіѕ Ү = пр.аггау(ќагреіѕ 1151, патіп=2).Т # матрица ответов: какое это число 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ 

# Вычислить сигналы в нейронах. Взвешенная сумма. 

х = пр.до зе. мею 5, іпршѕ х) # ӣог – умножение матриц Х = №*] = уе * шриб 
# Вычислить сигналы, выходящие из нейрона. Функция активации — сигмоида(х) 

у = /(1+пр.ехр(-х)) 


# ВЫЧИСЛЕНИЕ ОШИБКИ 
# Ошибка Е = -(цель — фактическое значение) 
Е = -((агоеѕ_Ү – у) 


# ОБНОВЛЕНИЕ ВЕСОВ 
# Меняем веса по каждой связи 
ѕе.ууеіоһіѕ -= зе г * пр.ао((Е * у * (1.0 – у)), пр.ігапѕроѕе(приѕ_х)) 


раѕѕ 


# Метод прогона тестовых значений 

Че! адчегу(зе!Р, шриз_1$0: # Принимает свой набор тестовых данных 
# Преобразовать список входов в вертикальный 20 массив. 

шриб_х = пр.атау(приз_1$6 патш=2).Т 


Я Вычислить сигналы в нейронах. Взвешенная сумма. 

х = пр.аокзе. ме, приќѕ_ х) 

# Вычислить сигналы, выходящие из нейрона. Сигмоида(х) 
у = И +пр.ехр(-х)) 


геќигп у 

# ЗАДАЁМ ПАРАМЕТРЫ СЕТИ 

Я Количество входных данных, нейронов 
даа_тшриё =2 

Даа_пеигоп = 2 


# Скорость обучения 
Іеагпіпогаѓе = 0.1 


# Создать экземпляр нейронной сети 

п = пешгоп М№е(ааѓа три, Чаа_пеигоп, Іеагпіпогаѓе) 
# ОБУЧЕНИЕ 

# Зададим количество эпох 

еросв$ = 10000 

# Прогон по обучающей выборке 

{ог е ш гапое(еросћ): 

ог 1 ір ігаіпіпо Яаѓа 115: 

# Получить входные данные числа 

а] уајџеѕ = 1.5рі(',) # зрМС,') – раздел строку на символы где запятая 
11риќѕ_х = пр.аѕѓаггау(а_ уаІџеѕ[1:]) 


ини 


‚ символ разделения 


# Получить целевое значение У, (ответ - какое это число) 
{агое5 Ү = шКа| уаез[0]) # перевод символов в 10ї, 0 элемент -— ответ 


# создать целевые выходные значения (все 0.01, кроме нужной метки, которая равна 0.99) 
Гагоеіѕ_Ү = пр.7его$(даа_пеигоп) + 0.01 


# Получить целевое значение У, (ответ — какое это число). а] уаез[0] — целевая метка для 
этой записи 
(агое _У[пКаП_уааез[0])] = 0.99 


п.(гаіп(1приќѕ_х, ќагоеѕ_Ү) # наш метод тат — обучение нейронной сети 

# Вывод обученных весов 

ргіп(' Весовые коэффициенты\п', п.\еюН 6) 

# Прогоним входные данные из обучающей выборки через обученную сеть 

Юг1ш ігаіпіпо Яаѓа 115: 

а] уаіџеѕ = 1.5рі(',) # зрШС,') — раздел строку на символы где запятая "," символ разделения 
11риќѕ_х = пр.аѕѓаггау(а_ уаІџеѕ[1:]) 

# Прогон по сети 

ори = п.доегу(1приіѕ_ х) 

ріпа] уаіџеѕ[1], 'ХОК', а] уаіџеѕ[2], ооёриќѕ) 


Результат работы программы: 


Весовые коэффициенты: 
[1 0.0082007 0.0082007] 
[-0.0082007 -0.0082007]] 


О ХОК 0 

1 0.5] 

0.51] 

1 ХОК 0 

[[ 0.50205016] 
[0.49794984 ]] 
ОХОК 1 

[[ 0.50205016] 
[0.49794984 ]] 
І ХОК 1 

[1 0.50410026] 
[0.49589974]] 


Как видим, нашей сети не удалось решить задачу подобного рода. Значения на выходе сети, 
примерно совпадают — 0,5. Что бы мы не предпринимали с этими значениями (складывали, 
искали максимальное и т.д.), решить данную задачу мы так и не сможем. Вероятность нужного 
числа на выходе, всегда будет 50% на 50%, что конечно же никого не может удовлетворить. 

Попробовав решить подобным образом и другие логические функции “И” и “ИЛИ”, результат 
был бы тоже отрицательный. Имея лишь один слой, логистическая функция, в отличии от 
пороговой функции активации нейронов, не сможет верно подобрать веса. И действительно, на 
примере логического “И”: 

х1\1 + х2\2 + уЗ =0* 0,5 +0 * 0,5 =0 

х1уүу1 + х2%2 + \3 = 1 * 0,5 +0 * 0,5 =0,5 

х1уү1 + х2%ү2 + №3 = 0 * 0,5 +1 * 0,5 = 0,5 

х1уүу1 + х2%2 + 3 = 1 * 0,5 +1 * 0,5 =1 

Так же, как и с линейной функцией, в отличие от функции активации единичного скачка, 
логистическая функция бессильна при решении данной задачи. 


Но всё же, функция “исключающее или”, выбрана не зря. Решая её даже с помощью 
активационной функции единичного скачка, нас так же постигнет неудача. Все дело в том, что, 
исходя из двух выражений логической функции: 0+0=0 и 1+1=0, какие бы мы не выбирали 
значения весов и порога, ответы на выходе из нейронов не будут совпадать с целевыми 
значениями. 

Но и у этой проблемы есть своё решение. Но для этого, стоит немного рассказать о булевой 
алгебре. 

Как вы уже знаете, операцию логического “ИЛИ”, часто называют логическим сложением. 
Правила здесь такие же, как и в обычном сложении, за исключением 1+1=1, а не 2. А операцию 
логического “И”, называю логическим произведением, здесь всё в целом производится 
аналогично обычному умножению. Есть еще одна распространённая логическая функция — 
функция логического “НЕ”. Из её названия следует, что её предназначение инвертировать 
значения. Если это 0, то пройдя логическое “НЕ”, 0 станет 1. 


Х - логическое "НЕ" 
Если х = 1, мох = О 
4. 


Если х= О, мох 


Так как же математически решить функцию “исключающее или”? Просто! Если мы 
применим следующие выражение: 


У-= ко) (к и Ка) 


И применив его к таблице истинности функции “исключающее или”, получим следующие 
результаты: 


1) Х1=0, х2=0: 

(х1 * х2) + (х1 * х2) 
2) х1=1, х2=0: 

(х1. * х2) + (х1 * х2) = (О * О) + (1 * 1) 
5) х1=0, х2=1: 

(х2. * х2) + (х1 * х2) =(1* 1) +(0 * О) 


4) х1=1, х2=1: 
(х2. * х2) + (х1 * х2) =(0* 1) + (1 #0) = О 


(1*0)+(0*1)=0 


1. 


1 


Отлично! Математически разобрались. Теперь как это передать в нашу сеть? 
Если мы, в нашей сети, условно передадим одному из нейронов решать задачу: 


(83: ".х2у 
‚ а другому: 
(1: * м2) 


и на выходе просуммировать значения, то должно все получиться. 

Теперь нужно как то, заставить нейроны самостоятельно выполнять эти действия. И нужно 
это сделать так, чтобы это происходило автоматически, в процессе обучения, чтобы нейроны 
сами решили, без нашей подсказки, кому какие действия производить. 

Но все же, без подсказки не обойтись, иначе нейроны так ничего и не поймут. Поэтому, 
логичнее всего если в роли подсказчика выступал бы ещё один нейрон, стоящий следом. Они 
будет вычислять ошибку на выходе, после чего сообщать о ней двум предыдущим нейронам. Так 
же, роль по суммированию этих двух выражений, автоматически отводится выходному нейрону. 
Так как эта сумма будет представлять, ни что иное как взвешенную сумму: 


Входной Скрытый Выходной 


слой слой слой 

(х1 * х2) 
„й (х1 * х2)+(х1 * х2) 
хД 


(х1 * х2) 


Тем самым передавая назад значение ошибки, выходной нейрон будет говорить позади 
стоящим, на какую величину они ошибаются. В результате этих действий, нейроны как бы сами 
разберутся, кто какое из двух выражений будет выполнять. 


Такой вид сети, а именно состоящая из трёх слоёв, самая распространённая в искусственных 
нейронных сетях. Именно в скрытом слое происходит основное вычисление, в этом его 
предназначение. 


Распространение ошибки назад 

Как находить ошибку на выходе мы прекрасно усвоили: Е = -(У – у). Но как находить ошибку 
в скрытых слоях? Как распространять ошибку назад относительно выхода? 

Использовать лишь одну величину ошибки на выходе для всех связей, затея глупая. Так как 
величина ошибки, определяется вкладами всех связей, а не только одной. Значит нам нужно 
каким-то образом, распределить эту ошибку между всеми узлами, пропорционально их вкладам 
в неё. То есть, большая часть ошибки приписывается тем связям, которые имеют больший вес, 
потому что они оказывают большее влияние на величину ошибки: 


1/4 ошибки 

и/1.,1=1 

2. 3 12-5 
5/4 оилибки 


В данном случае, сигнал на выходном нейроне, формируется за счет двух позади стоящих 
нейронов. Их весовые коэффициенты равны 1 и 3, соответственно. Если ошибку на выходе, 
разделить пропорционально между двух позади стоящих нейронов, то для того чтобы обновить 
меньший вес (%1,1=1) следует использовать 1/4 части величины ошибки, а для обновления 
большего веса (у1,2=3) понадобится 3/4 её части. Если представить, что сеть имеет тысяча или 
более нейронов, связанных подобным образом с выходным нейроном, мы бы распределяли 
выходную ошибку между всеми этими связями, пропорционально их вкладам, которые 
определяются размерами весов соответствующих связей. 

Теперь мы будем использовать весовые коэффициенты не только для расчетов 
распространения сигналов по нейронной сети, от входа к выходу, но еще и для вычисления 
распространения ошибки от выходного слоя к входному. У такого метода распространения 
ошибки есть созвучное название — метод обратного распространения ошибки. 


Теперь рассмотрим ситуацию распространения ошибки при большем количестве нейронов на 
выходе: 


слой 1. слой 2. 


61 - оилибка 


62. - ошибка 


Как мы можем видеть, для обновления весов, в процессе обучения, необходима информация о 
всех ошибках на выходных узлах. Но мы можем всё так же спокойно, распространить ошибку 
назад, как делали до этого, пропорционально весовым коэффициентам соответствующих связей. 
И то обстоятельство, что на выходе имеется более одного нейрона, ничего не меняет. 

Таким образом, ошибка е1 распределяется пропорционально связям \1 и м1,2. Точно так 
же ошибка е2 распределяется пропорционально связям \2,1 и \2,2. 

Запишем в математической форме, как распределяются величины ошибки по связям. 
Например, ошибка е1 будет поправлять веса у1,1 и 1,2. При её распределении между этими 
связями, доля ошибки для \1,1 будет составлять: 


м/2.,2. 
и/2.,2. + м2.,2, 


Доля ошибки е1 для обновления веса 1,2, будет распределяться аналогичным образом: 


м2.,2. 
2,1 + м/1,2 


Эти выражения нам ещё раз говорят, что узлы, которые внесли больший вклад в ошибку, 
получают больший сигнал о ней, и наоборот, узлы, сделавшие меньший вклад, получают 
меньший сигнал. 


Например, если \Т1 = 1 и %1,2 = 3, то доля ошибки е1 для "11, будет составлять: 1/1+3 = 
1/4, тогда как для другого веса у1,2: 3/1+3 = 3/4. 
Распространение ошибки между слоями 
При наличии большего количества слоёв мы просто повторили описанные выше действия для 
каждого слоя, продвигаясь от выхода к входу: 


слой 1. слой 2. слой 5 


Ё.выхода 


Здесь ек — вес связи скрытого слоя, үүвх — вес связи входного слоя. Еще раз можно увидеть 
почему этот процесс называется обратным распространением ошибки. 

При распространении входных сигналов в прямом направлении, в нейронах скрытого слоя 
после взвешенной суммы всех сигналов и функции активации, образуется один выходной сигнал, 
который в последствии может умножаться с весами других связей. А как определить ошибку в 
нейронах скрытого слоя, при обратном её распространении? 

Как определить ошибку на выходе мы знаем – разность целевых и выходных значений. А вот 
у скрытого слоя, нет целевых или желаемых выходных значений. Но если мы просуммируем все 
значения ошибок, по всем исходящим связям нейрона, то получим общее её значение. Этот 
процесс очень похож на прямое распространение сигнала, где в качестве сигнала ис пользуется 
ошибка: 


слой 1. слой 2. слой 5 


На иллюстрации видно, что имеется некоторая доля ошибки е1 вых, приписываемая связи с 
весом №11, и есть доля ошибки е2вых, приписываемая связи үу2,1. 
Вышесказанное можно записать как: 


е1ск = сумма ошибок связей ү1,1 и у2,1 


м2. ,1. м2,1. 
+ 22 вых * 
м/2.,2. + м1.,2. \/2,1. + м2 ,2 


= е1вых * 


Чтобы понять, как эта теория действует на практике, приведем иллюстрацию, обратного 
распространения ошибки в трехслойной сети, на примере конкретных значений: 


слой 1 слой 2 слой 5 


Проследим за обратным распространением одной из ошибок. Возьмём первый нейрон 
выходного слоя. Мы видим доли ошибки е1 между его связями с весами №1,1=1 и у1,2=2, 
равные 0,23 и 0,47 соответственно. Как это получать, мы уже знаем: 


е1 * (у1,1/%1,1+ 91,2) = 0.7 * (1/1+2) = 0.23 
е1 * (\1,2/№1,1+ 1,2) = 0.7 * (2/1+2) = 0.47 


А объединённая ошибка в первом нейроне скрытого слоя, представляет собой сумму 
распределённых ошибок, в данном случае 0,23+0,21 = 0,44. 
Распространение ошибки ближе к входному слою, производится аналогичным способом: 


слой 1. слой 2. слой 5 


О.65 


Применив данный способ, мы будем знать ошибку по всем нейронам и слоям, что даст 
возможность обновить веса всех связей, в нужной пропорции. 


Метод обратного распространения ошибки в матричной форме 
Мы можем значительно упростить расчеты, связанные с обратным распространением 
ошибки. Так же, как и в прямом распространении сигнала, нам помогут матрицы. Попробуем 
описать этот процесс. 
Ошибку на выходе можно представить, как: 


е1. 


Евых = 
ых „5 


Далее нам нужно построить матрицу ошибок скрытого слоя. Ошибка первого нейрона 
скрытого слоя, формируется от суммы двух сигналов. Этими сигналами являются: еї * 
(\%1,1/м1,1+ \1,2) ие? * (\21/м21- үү2,2). А ошибка второго нейрона скрытого слоя 
формируется от суммы @1 * (у1,2/%1,2+ үү1,1)ие2 * (\2,2/2,2+ 2,1). 

Теперь можно эти действия записать как умножение матриц: 


м2.,1 №2.,1. 
м21,1 + м2 ,2. м/2,2. + м/2,2. 


ёск = * 


е1 


е2 
\/1.,2. 2,2. 


\/1.,2. + м2. ,2. и/2,2 + 2,1. 


Мы можем еще больше упростить данный процесс, для ещё более эффективного вычисления. 

Если нам удаться переписать это выражение, в том виде, как мы это делали с прямым 
распространением сигнала, только в виде сигналов будут выступать ошибки и идти будем в 
обратном направлении, мы получим большие преимущества. 

Как это сделать? Если посмотреть на выражение, которое приведено выше, можно заметить, 
что наибольшую роль в величине распространения ошибки играет произведение выходных 
ошибок на связанные с ним веса е*үіј. Чем больше будет вес, тем большая величина доли 
ошибки будет передаваться в скрытый слой. Поэтому, если пренебречь знаменателем, в 
элементах матрицы весов, то в целом так важная нам пропорциональность распространения 
ошибки от значений связей, будет сохранена, потеряем только лишь её масштабирование, что не 
так страшно. Таким образом, на примере первого элемента матрицы весов, выражение е1 * 
(у1,1/у1,1+ у1,2), упроститься до е1 * 1,1. 

В следствии чего, получим выражение: 


Собственно, получилась матрица весов, которую мы строили ранее, но теперь она 
перевернута. Правый верхний элемент, стал левым нижним и наоборот. Если к этой матрице 
применить транспонирование, то все станет на свои места. 

Вот теперь мы своего достигли. Теперь мы можем применять матричный подход к обратному 
распространению ошибки: 


т 
@ск = № вых * ёвых 


Как оказалось, такая упрощенная модель, работает ничуть не хуже, той более сложной, где 
если бы мы оставили знаменатели в матрице весов. Главная деталь, а именно то, что 
учитываются весовые коэффициенты связей, даёт справедливо нужными порциями, 
распределить ответственность за ошибки. 


Практика по решению логических функций с использованием 
логистических функций 


Ну что же, пришло время убедиться в правильности принятых выше решений. А самое 
убедительное доказательство — это практика. Давайте для начала решим задачу “исключающее 


или”, реализовав в программе следующую структуру: 


Входной Скрытый Выходной 


слой слой слой 


х1. 


х2. 


Подготовим тренировочные данные, они же будут и тестовыми, где первый элемент в строке 
будет являться целевым значением: 


Импортируем модуль по работе с массивами: 


ппрой патру аѕ пр 


Загружаем в переменную ігаіпіпо Яаѓа 114 наши тренировочные данные: 


# Загрузить и подготовить тренировочные данные из формата СЗУ в список 

ігаіпіпо_ даѓа = ореп("аѓаѕе/Юаѓа (гаїп.сѕу", 'т') # 'т' – открываем файл для чтения 

гаїіпіпо даѓа 1156 = їгаіпіпо дӢаѓа.геайіпеѕ() # теааіпеѕ() — читает все строки в файле 
переменную ігаітіпо, аѓа_ [151 

ігаіпіпо даѓа.с1оѕе() # закрываем файл сѕу 


Инициализируем параметры сети: 


# Определение класса нейронной сети 
с1а5$ пеигоп_ Ме: 


Я Инициализация параметров нейронной сети 

ег ши__ (зеР, прие пит, пеигоп_пит, оиро пит, Јеагпіпогаѓе): 
# МАТРИЦА ВЕСОВ 

# Задаем матрицу весов как случайное 

зеЁ. мер {$ = (пр.гапаот.гапа(пеигоп_ пит, іприс пот) +0.0) 

зеЁ. ме _оиё = (пр.гапдот.тапа(оири пит, пешгоп пит) +0.0) 


# Задаем параметр скорости обучения 
ѕеІЕ.1с = Іеагпіпогаќѓе 


раѕѕ 


Создаем метод обучения сети: 


# Метод обучения нейронной сети 

ае шашт(5е!, три |151, (агое(ѕ_ 50): # принимает (вх. список данных, ответы) 
# Преобразовать список входов в вертикальный массив. .Т — транспонирование 
при х = пр.атау(три 115, патш=2).Т # матрица числа 

(агое(ѕ_Ү = пр.аггау(ќагоеіѕ_1151, патіп=2).Т # матрица ответов 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ 

# Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 

х1 = пр.аозеР. ме, шриз_х) # 4о{— умножение матриц Х = \/*1 = уеюй 6 * іприќѕ 

# Вычислить сигналы, выходящие из нейронов скрытого слоя. Функция активации — 
сигмоида(х) 

УІ = И+пр.ехр(-х1)) 

Я Вычислить сигналы в нейронах выходного слоя. Взвешенная сумма. 

х2 = пр.ао(зеР. уејоһѕ_ ош, у1) # йог – умножение матриц Х = \/*[ = уею 65 * шриб 


# ВЫЧИСЛЕНИЕ ОШИБКИ 

# Ошибка выходного слоя: Е = -(цель — фактическое значение) 
Е = -(агоез_У —х2) 

# Ошибка скрытого слоя 

Е Һайеп = пр.докКзе.мею0 5 _оцЕТ, Е) 


# ОБНОВЛЕНИЕ ВЕСОВ 

# Меняем веса связей, исходящих из скрытого слоя 

зеЁ.\уе1ю {$ ои -= зе Р.Ш * пр.аоќ(Е * х2), пр.ігапѕроѕе(у1)) 

# Меняем веса связей, исходящих из входного слоя 

зе. ую {$ -= зе г * пр.ао((Е Њаадеп * у1 * (1.0 – у1)), пр.бапзрозе(три _х)) 


раѕѕ 


Здесь в выражении: Е һ\айеп = пр.ӣо{(ѕеІЕ уеіоһіѕ ош.Т, Е) мы собственно и распространили 
ошибку от выходного слоя к скрытому! 


Заметьте, что на выходном слое, мы используем линейную функцию, активационной 
функции здесь нет. Это сделано для того, о чём говорилось ранее, чтобы использовать только 
взвешенную сумму нейронов скрытого слоя: 


Входной Скрытый выходной 


слой слой слой 
(х1 * х2) 


х1 * 1 * х2 
«й (х1 * х2)+(х1 * х2) 


х2. 


% 
(ха. * х2 
Затем создаем метод прогона значений для тестирования сети, в прямом направлении: 


# Метод прогона тестовых значений 

Че! адчегу(зе!Р, шриз_1$0: # Принимает свой набор тестовых данных 
# Преобразовать список входов в вертикальный 2р массив. 

шриб_х = пр.аггау(триз_1$6 патш=2).Т 


Я Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 

х1 = пр.аозеР. ме, шриз_х) # 4о{— умножение матриц Х = \/*1 = уеюй 6 * іприќѕ 

# Вычислить сигналы, выходящие из нейронов скрытого слоя. Функция активации — 
сигмоида(х) 

УІ = /(1+пр.ехр(-х1)) 

# Вычислить сигналы в нейронах выходного слоя. Взвешенная сумма. 

х2 = пр.ӣ0((ѕеЇЁ. уеіоһѕ_ ош, у1) # ӣог – умножение матриц Х = \/*[ = үуеіоһіѕ * шриб 


геішт х2 
Теперь зададим параметры нашей сети: 


#ЗАДАЁМ ПАРАМЕТРЫ СЕТИ 
# Количество входных данных, слоев, нейронов 
даа_тшриё =2 


ааѓа пешоп = 2 
ааѓіа ошри = 1 


# Скорость обучения 
еагптотае = 0.2 


# Создать экземпляр нейронной сети 
п = пеџгоп М№е((аѓа три Ӣаѓќа пеџгоп, йаѓа оџёриї, Іеагпіпогаѓе) 


Здесь ничего нового, два параметра на входе, два нейрона скрытого слоя, один нейрон в 
выходном слое. 

Подготавливаем входные данные и целевые результаты для обучения сети. После чего 
передаем их в соответствующий метод: 

# ОБУЧЕНИЕ 

# Зададим количество эпох 

еросһѕ = 70000 

# Прогон по обучающей выборке 

оге іп гапое(еросћѕ): 

Юг ір ігаіпіпо Яаѓа 115: 


# Получить входные данные числа 
а] уајџеѕ = 1.5рі(',) # зрМС,') – раздел строку на символы где запятая 
11риќѕ_х = пр.аѕѓаггау(а_ уаІџеѕ[1:]) 


ин 


‚ символ разделения 


# Получить целевое значение У, (ответ — какое это число) 
Гагоеіѕ Ү = шКа| уаез[0]) # перевод символов в Ш 0 элемент - ответ 
#агое{$ У = пр.аѕЃаггау(а]_ уаіџеѕ[0],1п0) 


п.ігаіп(1приќѕ_х, {агое{з_У) # наш метод тат — обучение нейронной сети 


Выводим результаты: 


# Вывод обученных весов 
рип ‘Весовые коэффициенты\п', п.\еюН 6) 


# Прогоним входные данные из обучающей выборки через обученную сеть 
Юг1ш ігаіпіпо Яаѓа 115: 


а уаіџеѕ = 1.3рШС,') # 5рі',) — разделить строку на символы где запятая 
разделения 

#аП_уаюез = пр.аѕЃѓаггау(а] уаіџеѕ по) # Перевод списка в Ш 

шриб_х = пр.аѕЃѓаггау(а]_ уаіиеѕ[1:]) 

# Прогон по сети 

оири = п.доегу(1приіѕ_ х) 

ргіп((1п6(а1]1 уаез[1]), 'ХОВ', юка] уаіиеѕ[2]), '=', Поаоџќриќѕ), \п’) 


ии 
2 


Символ 


Приведу еще раз полный текст программы: 


птроге питру аз пр 

# Загрузить и подготовить тренировочные данные из формата СЗУ в список 

ігаіпіпо_ даѓа = ореп("аѓаѕе/Юаѓа (гаїп.сѕу", 'Г)#'г — открываем файл для чтения 

паште_Ааа_15({ = їгаіпіпо дӢаѓа.геайіпеѕ() # теа4Ппез() — читает все строки в файле в 
переменную гапо, аѓа_ 1131 

ігаіпіпо даѓа.с1оѕе() # закрываем файл сѕу 


# Определение класса нейронной сети 
с1а5$ пеигоп_ Ме: 


# Инициализация параметров нейронной сети 

ег ши__ (зеР, шри пит, пеигоп_пит, оифри_пит, Јеагпіпогаѓе): 
# МАТРИЦА ВЕСОВ 

Я Задаем матрицу весов как случайное 

ѕеІЕ.меіоһіѕ = (пр.гапаот.гапа(пеигоп_ пит, шри пот) +0.0) 
ѕеІЕ.меіоһіѕ_ош = (пр.гапдот.тап4(оири пит, пешгоп пит) +0.0) 


# Задаем параметр скорости обучения 
ѕеІЕ.1с = Іеагпіпогаќѓе 


раѕѕ 


# Метод обучения нейронной сети 

ЧеЁ ігаіп(ѕе1Є, три |151, (агое(ѕ_ 50): # принимает (вх. список данных, ответы) 
# Преобразовать список входов в вертикальный массив. .Т — транспонирование 
приб х = пр.атау(три 115, патш=2).Т # матрица числа 

(агое(ѕ_Ү = пр.аггау(ќагоеіѕ_ 1151, патш=2).Т # матрица ответов 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ 


# Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 

х1 = пр.аоКзеР. ме $, шриз_х) # 4о{— умножение матриц Х = \/*1 = уеюй 6 * іприќѕ 

# Вычислить сигналы, выходящие из нейронов скрытого слоя. Функция активации — 
сигмоида(х) 

УІ = /(1+пр.ехр(-х1)) 

# Вычислить сигналы в нейронах выходного слоя. Взвешенная сумма. 

х2 = пр.аозеР. уеіоһѕ_ ош, у1) # ӣог – умножение матриц Х = \/*[ = ууеіоһіѕ * шриб 


# ВЫЧИСЛЕНИЕ ОШИБКИ 

# Ошибка выходного слоя: Е = -(цель — фактическое значение) 
Е = -((агоеѕ_Ү – х2) 

# Ошибка скрытого слоя 

Е Һайеп = пр.докКзе.мею0 5 оо Т, Е) 


# ОБНОВЛЕНИЕ ВЕСОВ 

# Меняем веса связей, исходящих из скрытого слоя 

зеЁ. ме _оиё -= зе г * пр.аоќ(Е * х2), прАгапзрозе(у1)) 

Я Меняем веса связей, исходящих из входного слоя 

ѕе.ууеіоһіѕ -= зе РГ * пр.ао((Е Њааеп * у1 * (1.0 – у1)), пр.бапзрозе(три _х)) 


раѕѕ 


# Метод прогона тестовых значений 

аеғ ачегу(зе!, іприѕ_ 1150): # Принимает свой набор тестовых данных 
# Преобразовать список входов в вертикальный 20 массив. 

шриб_х = пр.атау(приз_1$6 патш=2).Т 


# Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 

х1 = пр.ӣо((ѕеІЁ. ме, шриз_х) # ао – умножение матриц Х = \/*1 = уеюй 5 * іпршѕ 

# Вычислить сигналы, выходящие из нейронов скрытого слоя. Функция активации — 
сигмоида(х) 

УІ = И+пр.ехр(-х1)) 

Я Вычислить сигналы в нейронах выходного слоя. Взвешенная сумма. 

х2 = пр.аозеР. уеіоћѕ ош, у1) # йог – умножение матриц Х = №] = меюй 5 * іприќѕ 


геќигп х2 


#ЗАДАЁМ ПАРАМЕТРЫ СЕТИ 

# Количество входных данных, слоев, нейронов 
ааѓа іприё = 2 

аӢаѓќа пешоп = 2 


ааѓа ошри = 1 


# Скорость обучения 
еагптотае = 0.2 


Я Создать экземпляр нейронной сети 
п = пеогоп_Ме(даа_ три Ӣаѓќа пеџгоп, ӣаѓа ошриѓ, Іеагпіпогаќе) 


# ОБУЧЕНИЕ 

# Зададим количество эпох 
еросһѕ = 70000 

# Прогон по обучающей выборке 
Юге ш гапое(еросћз): 

Юг1ш ігаіпіпо Яаќа 115: 


# Получить входные данные числа 
а] уајџеѕ = 1.5рі(',) # $=рії(',') – раздел строку на символы где запятая 
шриб_х = пр.аѕЃѓаггау(а]_уаіоеѕ[1:]) 


ини 


‚ символ разделения 


# Получить целевое значение У, (ответ - какое это число) 
Гагоеіѕ Ү = шКа| уаез[0]) # перевод символов в шь 0 элемент -— ответ 
#(агоеѓіѕ_Ү = пр.азРаггау(аЦ_уае$ [0], 116) 


п.(гаіп(1приќѕ_х, {агоез_У) # наш метод тат — обучение нейронной сети 


# Вывод обученных весов 
ргіп(' Весовые коэффициенты\п', п.\еюН 6) 


# Прогоним входные данные из обучающей выборки через обученную сеть 

Юг1ш ігаіпіпо Яаѓа 115: 

аі уаіџеѕ = 15рі(',) # зрШС,’) — разделить строку на символы где запятая 
разделения 

#аП_уаюез = пр.аѕЃѓаггау(а уаІџеѕ 110) # Перевод списка в пі 

11риќѕ х = пр.аѕЃѓаггау(а]_ уаіоеѕ[1:]) 

# Прогон по сети 

ори = п.доегу(їпршѕ_ х) 

роот (а] уа1џеѕ[1]), 'ХОК', Іта] уаіиеѕ[2]), '=', Поабошриѓѕ), \п’) 


ии 
. 


СИМВОЛ 


Результаты работы программы: 


Весовые коэффициенты: 
[[7.81432203 7.82825685] 
[2.89844863 2.90151462]] 


ОХОК 0 = 0.02727560400468576 


1 ХОК 0 = 0.993182895 138375 


ОХОК 1 = 0.9905392833501487 


1 ХОК 1 = 0.10921815839185456 


Как видим, более или менее мы справились с поставленной задачей. Если увеличить число 
нейронов скрытого слоя в два раза, доведя тем самым их значение до четырех, то мы резко 
увеличим точность нашей сети: 


Весовые коэффициенты: 
[[-2.33442417 -1.10601149] 
[3.85660315 4.00658125] 
[6.00766732 0.47282647] 
[0.38238545 6.08253924]] 


ОХОК 0 = 0.0058097515306574365 


1 ХОК 0 = 0.9999538649241559 


ОХОК 1 = 0.9999292912654436 


1 ХОК 1 = 0.008841038 108958976 


Посмотрим, что будет, если в выходном слое будет два нейрона, каждый будет отвечать за 
свое число, один за ноль, а второй за единицу. Для этого потребуется внести не так много 
изменений в нашу программу. Главным образом они коснуться области определения количество 
нейронов и подготовки данных на вход и целевых значений: 


# ЗАДАЁМ ПАРАМЕТРЫ СЕТИ 

Я Количество входных данных, нейронов 
ааѓа іпри = 2 

ааѓа пешоп = 4 

аӢаѓа_ошри = 2 


# Скорость обучения 
еагптотае = 0.2 


# Создать экземпляр нейронной сети 
п = пеџгоп М№е((аѓа три Ӣаѓќа пеџгоп, йаѓа оџёриї, Іеагпіпогаѓе) 


# ОБУЧЕНИЕ 

Я Зададим количество эпох 

еросһѕ = 80000 

# Прогон по обучающей выборке 

{ог е ш гапое(еросћ): 

{ог 1 ір ігаіпіпо Яаѓа 115: 

# Получить входные данные числа 

а] уаіџеѕ = 1.5рі',) # зрШС,') — раздел строку на символы где запятая 
шриб_х = пр.аѕЃѓаггау(а]_ уаіоеѕ[1:]) 


ин 


‚ символ разделения 


# Получить целевое значение У, (ответ — какое это число) 
Гагоеіѕ Ү = шКа| уаез[0]) # перевод символов в Ш 0 элемент – ответ 


# создать целевые выходные значения (все 0.01, кроме нужной метки, которая равна 0.99) 
Гагое(ѕ_Ү = пр.7его$(даа_оифрий + 0.01 


# Получить целевое значение У, (ответ — какое это число). а] уаез[0] — целевая метка для 
этой записи 
{(агое5 _У[пКаП_уааез[0])] = 0.99 


п.(гаіп(1приќѕ_х, {агоез_У) # наш метод тат — обучение нейронной сети 


В остальном все то же самое, как в предыдущей программе. Поэтому приводить весь текст 
программы целиком, не имеет смысла. 
Результат работы программы: 


Весовые коэффициенты: 

[[ 12.95040394 -6.49232526] 
[-9.08125352 -8.94676728] 
[-13.09373108 6.56168093] 
[7.32763501 -14.51411564]] 


ОХОК 0=0 
[[ 0.97987662] 
[0.02012364]] 
І ХОВ 0=1 
[1 0.0181055 ] 
Г 0.98189458]] 
ОХОВ 1=1 
[1 0.01725169] 
[0.98274808]] 
1 ХОВ 1=0 
[1 0.985501 ] 
[0.0144984]] 


Ссылка на материалы программ: 


ћрѕ://о1ћор.сот/СатаСап/пеџгаітаѕѓег 


Ещё раз убеждаемся в том, что это работает. 
А для еще большей убедительности, решим, с помощью обратного распространения ошибки, 
задачу логического “ИЛИ”: 


пирог питру аз пр 

# Загрузить и подготовить тренировочные данные из формата СЗУ в список 

ігаіпіпо дӢаѓќа = ореп("даазе/Баа_ог.сзу", 'т) # 'г – открываем файл для чтения 

паште_Ааа_15( = їгаіпіпо даѓа.геайіпеѕ() # теааһпеѕ() — читает все строки в файле в 
переменную Нашше_Даба_ 151 

ігаіпіпо даѓа.с1оѕе() # закрываем файл сѕу 

# Определение класса нейронной сети 

с1а5$ пеигоп_ Ме: 


# Инициализация весов нейронной сети 

а ши (зе! іприє пит, пеигоп_пит, ошфри пит, Іеагпіпогаѓіе): #констр.(кол-во входов, 
кол-во нейронов) 

# МАТРИЦА ВЕСОВ 

Я Задаем матрицу весов как случайное от -0,5 до 0,5 

зеЁ. мер {5 = (пр.гапаот.гапа(пеигоп_ пит, шри_пит) +0.0) 

зеЁ. ме _оиё = (пр.гапаот.гапа(ошіриш_ пит, пеигоп_пип) +0.0) 


# Задаем параметр скорости обучения 
зе. № = Іеагпіпогаќе 


раѕѕ 


# Метод обучения нейронной сети 

ае шашт(5е!, три |151, (агое(ѕ_ 50): # принимает (вх. список данных, ответы) 
# Преобразовать список входов в вертикальный массив. .Т — транспонирование 
шри_х = пр.аггау(1приіѕ 1154, патіп=2).Т # матрица числа 

(агоеіѕ Ү = пр.аггау(ќагреѕ 1151, патш=2).Т # матрица ответов: какое это число 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ 

# Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 

х1 = пр.ӣо((ѕеІЁ. ме $, шриз_х) # йо – умножение матриц Х = №*] = уеіюһіѕ * іприќѕ 

# Вычислить сигналы, выходящие из нейронов скрытого слоя. Функция активации — 
сигмоида(х) 

УІ = /(1+пр.ехр(-х1)) 

# Вычислить сигналы в нейронах выходного слоя. Взвешенная сумма. 

х2 = пр.4оКзеН. меоһћѕ ои, у1) 


# ВЫЧИСЛЕНИЕ ОШИБКИ 

# Ошибка Е = -(цель — фактическое значение) 
Е = -((агоеѕ_Ү – х2) 

# Ошибка скрытого слоя 

Е Һайеп = пр.ао((ѕеї ееһіѕ оо Т, Е) 


# ОБНОВЛЕНИЕ ВЕСОВ 

# Меняем веса исходящих из скрытого слоя 

зеЁ.\уе1ю {5 ои -= ѕе г * пр.аоб(Е * х2), пр.сапѕроѕе(у1)) 

# Меняем веса исходящих из входного слоя 

ѕе.ууеіоһіѕ -= зе г * пр.ао((Е Њаадеп * у1 * (1.0 – у1)), пр.ігапѕроѕе(приќѕ х)) 


раѕѕ 


# Метод прогона тестовых значений 

Че! ачегу(зе!Р, іприѕ_ 1150): # Принимает свой набор тестовых данных 
# Преобразовать список входов в вертикальный 2р массив. 

шриб_х = пр.атау(приз_1$6 патш=2).Т 


# Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 

х1 = пр.аоКзеР. ме $, шриз_х) # йог – умножение матриц Х = \/*1 = уею 5 * іпршѕ 

# Вычислить сигналы, выходящие из нейронов скрытого слоя. Функция активации — 
сигмоида(х) 

УІ = И+пр.ехр(-х1)) 

Я Вычислить сигналы в нейронах выходного слоя. Взвешенная сумма. 

х2 = пр.4оКзеН. меіоһћѕ ои, у1) 


геішгп х2 

#ЗАДАЁМ ПАРАМЕТРЫ СЕТИ 

Я Количество входных данных, нейронов 
ааѓа іпри = 2 

ааѓа пешоп = 2 

дӢаѓа_ ошри = 1 


# Скорость обучения 
еагптотае = 0.2 


# Создать экземпляр нейронной сети 

п = пеогоп_Ме(4аа_триь Ӣаѓќа пеџгоп, йаѓа оџриї, Іеагпіпогаѓе) 
# ОБУЧЕНИЕ 

Я Зададим количество эпох 

еросһѕ = 70000 

# Прогон по обучающей выборке 

{ог е ш гапое(еросћз): 

ог 1 ір ігаіпіпо Яаѓа 115: 

# Получить входные данные числа 

а] уаіџеѕ = 1.5рі(",) # зрШС,') — раздел строку на символы где запятая "," символ разделения 
шрив_х = пр.азРаггау(аП_уа1ае$[1 :]) 


# Получить целевое значение У, (ответ — какое это число) 
{агое5 Ү = шКа| уаез[0]) # перевод символов в 10ї, 0 элемент - ответ 


# Получить целевое значение У, (ответ — какое это число). а] уаез[0] — целевая метка для 
этой записи 
(агоез_\У = пр.аѕЃаггау(а] уа1оеѕ[0],1п0) 


п.(гаіп(1приќѕ_х, {агоез_У) # наш метод тат — обучение нейронной сети 

# Вывод обученных весов 

рип ‘Весовые коэффициенты\п', п.\еюН 6) 

# Прогоним входные данные из обучающей выборки через обученную сеть 

Юг1ш ігаіпіпо Чаѓа 115: 

а] уаіџеѕ = 1.5рі(",) # зрШС,') — раздел строку на символы где запятая "," символ разделения 
11риќѕ_х = пр.аѕѓаггау(а_ уаІџеѕ[1:]) 

# Прогон по сети 

оири5 = п.доегу(іприіѕ_ х) 

рипа] уаез[1]), 'ОК', шКаП_уаез[2]), '=', Поаќоџёриѕ), \п’) 


Результаты работы программы: 


Весовые коэффициенты: 
[[ 2.95719849 3.05322881] 
[0.1741739 0.19161757]] 


ООК 0 = 0.0015221568573919875 

ТОК 0 = 0.9999989042032791 

ООК 1 = 0.999998545 7530554 

ТОК 1 = 1.000000835 153846 

Окончательно убеждаемся в правильно выбранном варианте решения задач типа 
“исключаюшего или”, путем добавления ещё одного слоя в сеть. 


Работа скрытого слоя 

Мы поняли, что однослойная сеть не способна решать некоторый круг задач. Для их решения 
нам понадобилось ввести ещё один слой, наделив наши нейроны эволюционной способностью, 
связывать свои выходы со входами других нейронов. Теперь искусственные нейроны, пусть 
и в упрощенной форме, по своему функционалу соответствуют своим биологическим 
прототипам. 

Мы поняли, что скрытые слои дают вариантность ответов на выходе. Внеся в них нелинейные 
функции, в нашем примере – сигмоиду, мы добились нелинейности ответов на выходе. 

Но что это значит? Как наглядно понять какие процессы происходят в скрытых слоях и 
почему они приносят в сеть такие возможности? На что влияет количество нейронов в этих 
слоях? 

Самым наглядным примером для ответов на эти вопросы, будет решения задачи 
аппроксимации математических функций с помощью нейронных сетей. Иными словами, 
получать на выходе из сети такие значения, которые очень близко соответствовали значению 
непрерывной математической функции. 

Согласно теореме аппроксимации — нейронная сеть с одним скрытым слоем может 
аппроксимировать любую непрерывную функцию многих переменных с любой точностью. 

Реализуем сеть, которая будет аппроксимировать функцию синуса. Как известно синус — 
функция непрерывная. 


Сеть будет состоять, из двух нейронов на входе, один из которых будет отвечать за смещение 
функции активации в скрытом слое (параметр Б), трех нейронов скрытого слоя и одного нейрона 
на выходе. Функция активации скрытого слоя — гиперболический тангенс, а выходной слой не 
имеет функций активаций: 


Входной Скрытый Выходной 


слой слой слой 


Гиперболический тангенс во многом напоминает логистическую функцию, но диапазон 
значений у него немного расширен, а именно от 1 до -1: 


В данном примере эта функция приведена для ознакомления с ней. Вполне можно было, 
почти с одинаковым успехом, воспользоваться обычной логистической функцией. 

Производная гиперболического тангенса — не очень сложна. Она есть в табличных 
производных: 


#4'х = г 
со$7х 


Так как: 


в.д: 2 
5 сих + с05 Хх 
> = = = #А2х + 1 
0$ Хх соѕ х 


Следовательно, величина обновления: 


4 
ИЕ. ИЕ РЕ ШИРИО Т, 


Ам 40к ами 


С теорией всё, приступим к практике. Для начала загрузим известные нам модули для работы 
с массивами и графиками функций: 


пирог питру аз пр 

прог тай 

пирог тафрю.рурюЕ аѕ р 
Фтафрю И ше 


Загрузим модули подсчета времени и для работы с выводом данных прогресса обучения на 
консоль: 


Кот бте ппрой бте, 51еер #Для замера времени выполнения обучения 
Кот а4т ппрой іт #Для вывода прогресса обучения 
Кот ёт пирог а4т по{ебоок #Для вывода прогрессаобучения. Только для руіћоп поеБоок 


Если данные модули не подключаются, их необходимо установить через Апасопӣа Ртоть 
используя команду сопа шуба ат. 
Создаем данные синусоиды и выводим их на координаты: 


#СОЗДАЕМ ИСХОДНЫЕ ДАННЫЕ 
# Зададим имена графику и числовым координатам 
ріс 00йе(" Функция — $ѕ1їп(х)") 
рк. хЈаБеқ" Х") 
рЕ.УаБек"У = $10(Х)") 


Х ѕір = |] 
У ѕп = [] 
х= 0 

ме х < 1: 


Ү ѕіп += [ (0.48*(таёһ.ѕ110(х*10))+0.48) ] # Создание целевых данных 

Х ѕп += [х] # Создание входных данных 

їх = ореп ('аќаѕеі/Юаѓа ѕіп х.сѕу', №) # Создаем или открываем для записи. ү записываем в 
фаел 

Бу = ореп ('аќаѕеі/Юаѓа ѕіп у.сѕу', №) # Создаем или открываем для записи. \ записываем в 
фаел 

Беммще (50(Х ѕ1п)) # Читаем входные данные в массив 

Бумище (50(Ү ѕіп)) # Читаем целевые данные в массив 


х += 0.025 # Шаг данных 


Ех.с10$е() 

Ғу.сІоѕе() 

#Создаем массивы данных для вывода 
Х $12 = пр.7егоѕ(Іеп(х_ѕ1п)) 

Ү 5102 = пр.7егоѕ(Іеп(Ү ѕ1п)) 

Х $12 = пр.аѕѓаггау(Х_ѕіп) 

Ү 5102 = пр.аѕЃаггау(Ү ѕ1п) 


# Вывод исходной синусоиды 

рЕ.рю(Х_зт, Ү ѕіп, союг = Ъое', һпеѕќуіе = 'ѕоПа’, 
ІаБеІ = '1п(х)') 

# локация имени функции 

рК. Іесепа(1ос=4) #юс — локация имени, 4 — справа внизу 
# Сетка на фоне для улучшения восприятия 
рЕ.ома(Ггае, Ппезуе='-', соог='0.75') 

# Показать график 

рЕ.Во\0 


Как вы уже поняли в папке с данными создаются два файла с входными и целевыми 
значениями соответственно. Ограничим, для наглядности, значением 0,48, амплитуду и частоту 
синусоиды. 

Результат данного сета: 


Функция - ѕіп(х) 


5іп(Х) 


Ү= 


Теперь загрузим эти данные в переменные: 


# ЗАГРУЖАЕМ ДАННЫЕ И ЗАПИСЫВАЕМ В МАССИВЫ 


# Загрузить и подготовить тренировочные данные из формата СЗУ в список 

паште_Чаба = ореп("даазе/Баа_$т_х.сзу", 'т') #'г — открываем файл для чтения 

паште_Ааа_15( = їгаіпіпо дӢаѓа.геайіпеѕ() # теа4Ппез() — читает все строки в файле в 
переменную Нашие_4ава_ [151 

ігаіпіпо даѓа.с1оѕе() # закрываем файл сѕу 


# Загрузить и подготовить целевые данные из формата СЅУ в список 

(агоеі ааѓа = ореп("аӢаѓаѕе/Раѓа ѕіп_у.сѕу", 'т) #'т — открываем файл для чтения 

агое ааѓа 115 = (агсеі даѓа.геааіпеѕ() # геайіпеѕ() — читает все строки в файле в переменную 
ігаіпіпо даѓа_ 115 

Гагоеі даѓа.с1оѕе() # закрываем файл сѕу 


ог 1 ір ігаіпіпо Яаѓа 115: 

# Получить входные данные числа 

а] уајџеѕ = 1.5рі(',) # Разбиваем на символы 

{у = Іеп(а] уа1џеѕ)-2 # Переменная размера данных. -2 чтоб избежать оштбок 
11риќѕ_ = пр.аѕѓаггау(а] уаез[1:6у]) # Массив входных данных 


Гогт ір ќагоеі ааќа |15: 

# Получить целевые данные числа 

а] уајџеѕ # = 1.5рі',) # Разбиваем на символы 

Гагоеѓѕ__ = пр.аѕѓаггау(а уаџеѕ_ [1 :1у]) # Массив целевых данных 


На всякий случай проверим загруженные данные: 


# ПРОВЕРЯЕМ ВХОДНЫЕ ДАННЫЕ 
# Значения по Х входных данных 
х_ааѓа = іприќѕ_ 
рпоұІеп(х_ааѓќа)) # Размер входных данных 
# Значения по У входных данных 
у_Чаа = іагоеѓѕ__ 
ргііпІеп(у даѓа)) # Размер целевых данных 


# Зададим имена графику и числовым координатам 
р. 00е(" Проверка данных — ѕіп(х)") 

р. хабе" Х") 

ріс уІіабе("Ү = 510(Х)") 


# Начальная прямая 
рЕ.рюКх_даа, у Яаѓа, 'Ъ', ІаБе! = 'Входные данные — $1п(х)!) 
рК. Јевепа(10с=4) #ос — локация имени, 4 — справа внизу 


# Сетка на фоне для улучшения восприятия 
рі опа(Тгие, іпеѕѓуІе='-', соог='0.75') 

# Показать график 

ріс ѕћом() 

Результат работы сета: 


Проверка данных - ѕіп(х) 


00 —— Входные данные - ѕіпіх} 


Создаем класс и методы: 
Я Определение класса нейронной сети 
сЈаѕѕ пеигоп_ Ме: 


Я Инициализация весов нейронной сети 

ег ши (зе!, шриЕ пит, пеигоп_пит, ори пит, |еатпшетгае): #констр.(кол-во входов, 
кол-во нейронов) 

# МАТРИЦА ВЕСОВ 

Я Задаем матрицу весов как случайное от -0,5 до 0,5 

ѕеіҒ.ууеіоһћіѕ = пр.гапаот.погта(+0.0, ро\(шри_пшит, -0.5), (пеигоп_пит, шри_пипл)) 

зе. ме {5 _оиё = пр.гапаот.погта(+0.0, ром(пешоп пит, -0.5), (ори пит, пеигоп_пии)) 

зеЁ.\уею {$ _ои Маз = 0.01 


# Задаем параметр скорости обучения 
зеР.г = Іеагпіпегаќѓе 


раѕѕ 


# Метод обучения нейронной сети 
Че! гат(зе!, іприќѕ_ |151, ќагоеіѕ_ 1150): # принимает (вх. список данных, ответы) 


# Преобразовать список входов в вертикальный массив. .Т — транспонирование 
при х = пр.атау(три 15% патш=2).Т # матрица числа 
{агое5 Ү = пр.аггау(ќагоеіѕ 1151, патш=2).Т # матрица ответов: какое это число 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ 

Я Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 

х1 = пр.аозеР. ме, шриз_х)# ао – умножение матриц Х = №] = уе * іприќѕ 
# Вычислить сигналы, выходящие из нейрона 

#1 = 1/(1+пр.ехр(-х1)) #Сигмоида 

#у1 = пр.тахтит(х1, 0) ЯВЕЦУ 

У1 = (пр.ехр(2*х1)-1)/(пр.ехр(2*х1)+1) #Тангенс 

Я Вычислить сигналы в нейронах выходного слоя. Взвешенная сумма. 

х2 = пр.4оКзеН. меіоһѕ ои, у1) 


# ВЫЧИСЛЕНИЕ ОШИБКИ 

# Ошибка Е = -(цель — фактическое значение) 

Е = -((агоеѕ_Ү – х2) 

# Скрытая ошибка слоя-это оцёриќ еггогѕ, разделенные на весы, рекомбинированные на 
скрытых узлах 

Е Һайеп = пр.докКзе.мею0 5 _оцеТ, Е) 


# ОБНОВЛЕНИЕ ВЕСОВ 

# Меняем веса по каждой связи 

зеЁ.\уе1ю {5 ои -= зе г * пр.4оК(Е * х2), пр.гапзрозе(у1)) 

# Меняем веса по каждой связи 

зе. уе -= зе Р.Ш * пр.аок(Е Њааеп * у1 * (1.0 – у1)), пр. гапзрозе( три _х)) #Сигмоида 

#зелуеюр 5 -= зе 1: * пр.аоє(Е Һайеп * (У1 > 0)), пр.гапзрозе(трив_х)) #КЕШО 

зе. \е1е0 {$ -= зе Р.Ш * пр.аок(Е Һааеп * (1.0 — пр.ромег(у1, 2))), пр.ігапѕроѕе(1приќѕ х)) 
#Тангенс 

раѕѕ 


# Метод прогона тестовых значений 

аеғ аоегу(ѕе , шриз_1$0: 

# Преобразовать список входов в вертикальный 2р массив. 
11риќѕ х = пр.аггау(1приќѕ _ 1156, патш=2).Т 


#Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 

х1 = пр.аозеР. ме, шриз_х)# ао – умножение матриц Х = №] = уе * іприќѕ 
# Вычислить сигналы, выходящие из нейрона 

#у1 = 1/(1+пр.ехр(-х1)) #Сигмоида 

#У1 = пр.тахітит(х1, 0) #КЕШЈ 

У1 = (пр.ехр(2*х1)-1)/(пр.ехр(2*х1)+ 1) #Тангенс 

# Вычислить сигналы в нейронах выходного слоя. Взвешенная сумма. 

х2 = пр.ао(зеР. ууеіоћѕ ош, у1) 

геішгп х2 


# Метод возвращает сигнал — моо * (апп (\ * х + 61) 

аеғ доегупит2(ѕе1Ғ, триб _15, пштпе?): # Принимает входные данные и номер комбинации 
# Преобразовать список входов в вертикальный 2р массив. 

шриб_х = пр.атау(приз_1$6 патш=2).Т 


ЯВычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 
х1 = пр.4оКзе[. ме, 1приќѕ_ х) 

# Вычислить сигналы, выходящие из нейрона 

#1 = 1/(1+пр.ехр(-х1)) #Сигмоида 

#у1 = пр.тахітит(х1, 0) ЯВЕЦУ 

У1 = (пр.ехр(2*х1)-1)/(пр.ехр(2*х1)+1) #Тангенс 

У12 = пр.доКзеЁ.ууею$_оиОпитие , у питпей) 

теги у12 


Метод диоегупит2(), будет возвращать одно их линейных выражений гиперболического 
тангенса из взвешенной суммы. 

Например, выходное значение представляет собой сумму линейных выражений 
гиперболических тангенсов х) = Уи * ќапһ(м0 * х + Ъ0) +... + уош2* ѓап(у2 * х + 2). 
Передавая в аргументах номер одной из линейной комбинации, вернем его значение, если это 
будет 0, то вернем комбинацию \оиЮ * їап(у0 * х + 0). 

Задаем параметры и обучаем нашу сеть: 


# ЗАДАЁМ ПАРАМЕТРЫ СЕТИ 
Я Количество входных данных, нейронов 
даа_тшриё =2 
ааќа пешгоп = 3 
ааѓа_ ошри = 1 


# Скорость обучения 
Іеагпіпогаѓе = 0.01 


# Создать экземпляр нейронной сети 
п = пеогоп_Ме(даа_триь Ӣаѓќа пеџгоп, йаѓа оџри, Іеагпіпогаѓе) 


# ОБУЧЕНИЕ 

Я Зададим количество эпох 
еросһѕ = 50000 

зап = шипе() 

# Прогон по обучающей выборке 
#ог е іп гапое(еросй$): 

{оге ш бдат(гапее(еросћѕ)): 


ог 1 ш гапее(Іеп(х_ ааѓа)): 


# Получить входные данные числа 

шриз_х = х Яаѓа[1] 

# Добавляем второй вход Ваз = 1 

11риќѕ х = пр.аррепа(їприќѕ_х, 1) 

Гагоеіѕ Ү = у даа] # перевод символов в ть 0 элемент — ответ 
#тоџпа(х, 1) #Округление числа 


п.ігаіп(1приёѕ х, ќагреіѕ Ү) # наш метод баш – обучение нейронной сети 


ште ош = штпе() — “аи 
рийкК"Время выполнения: ", біте ои, " сек") 


Выводим данные: 


# Вывод обученных весов 
ргіп(' Весовые коэффициенты, п.меісћіѕ) 
ргіп(' Весовые коэффициенты от скрытого слоя \п', п.\ее оиб) 


# Создание значений на выходе сети 

ори _ = пр.аггау([]) 

ог 1 ш гапее(Іеп(х_ ааѓа)): 

1рибѕ_ х = х Яаѓа[1] 

при х = пр.аррепа(1приѕ х, 1) # Еще раз создаем массив входных данных 

# Прогон по сети 

оџёриќѕ = пр.арреп(оџіриѕ , п.доегу(іприіѕ х)) # Еще раз создаем массив выходных данных 
обученной сети 

#оири$ = п.дчегу(три_х) 


Я Создание значений на выходе нейрона срытого слоя 
оири$_пип0 = пр.аггау([]) 

оири$_пит1 = пр.аггау([]) 

оири$_пии2 = пр.аггау([]) 

#оири5 _пит3 = пр.аггау([]) 

Ношри_пи 4. = пр.аггау([]) 

Юг! ш гапее(Іеп(х_ ааѓа)): 

# Получить входные данные числа 

11риќѕ_ пит = х_ ааѓа[1] 

11риќѕ пит = пр.аррепа(приќѕ_ пит, 1) 

ори _пип0 = пр.арреп4(ошрив _пит0, п.даегупит2 (три пит, 0)) 


ори _пит1 = пр.арреп4(ои ри пит], п.даегупат2( три _пилт, 1)) 
ори _пип2 = пр.арреп4(ои ри _пит2, п.даегупит2( три _пит, 2)) 
#оири$ пит3 = пр.арреп4(оири _пит3, п.диегупит2( три _пит, 3)) 
#оири$ пи = пр.аррепа(ошіриіѕ_пит4, п.диегупит2 (три _пит, 4)) 


# Еще раз выводем синусоиду 

Х $ = [] 

У 5. =] 

х = 0.0 

уе х < 1: 

Ү ѕіп += [ (0.48*(таёһћ.ѕ510(х*10))+0.48) ] 
Х 5 += [х] 

х += 0.025 


Х $12 = пр.7егоѕ(Іеп(х_ѕіп)) 
Ү 5102 = пр.7егоѕ(Іеп(Ү ѕ1п)) 
Х $12 = пр.аѕѓаггау(Х_ѕіп) 
Ү 5102 = пр.аѕѓаггау(Ү $1) 


рЕ.рюкКХ_зш, Ү ѕіп, союг = 'Ъ', һпеѕ(уІе = 'зоПа', 
Іабе! = 'Входные данные — ѕір(х)!) 


# Зададим имена графику и числовым координатам 
рік. 00е(" Функция — $1п(х)") 

рі. хІабе" Х") 

ріс уІабек"Ү = $11(Х)") 


# Обученная сеть 

рЕ.рюКх_даа, ошрив_, соог = 'те4’, 1абе| = 'Обученная сеть — ѕіп(х)') 

Можно не использовать а4т для вывода на консоль статус бара. Для этого пользуйтесь 
обычным циклом — Юге іп гапое(еросћ). 

Мы каждый раз создаем массивы данных чтобы было удобно пользоваться своими сетами, 
можно было этого не делать и использовать уже полученные значения. 

Результатом работы нашей сети будут данные красного цвета: 


Функция - ѕіп(х) 
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Мы видим, что значения на выходе сети почти полностью повторяют заданную нами 
синусоиду. Результаты можно ещё улучшить, добавляя количество нейронов в скрытом слое и 
экспериментируя со скоростью обучения, но для нас и такого результата будет достаточно. 

Далее выводим на плоскость еще и результаты линейных комбинаций гиперболических 
тангенсов на выходе сети: 

# Выводим целевую синусоиду 

Х_ѕ = [] 

У ѕір = [] 

х = 0.0 

эме х < 1: 

У_5 += [ (0.48*(таф.зт(х*10))+0.48) | 

Х 5 += [х] 

х += 0.025 


Х $12 = пр.7егоѕ(Іеп(х_ѕ1п)) 
Ү 5102 = пр.7его$еп(У_511)) 
Х $12 = пр.а$Ратау(Х $1) 
Ү 5102 = пр.азЁитау(У ѕ1п) 


рієріокХ._ѕ1іп, Ү ѕіп, союг = 'Ь', іпеѕќуІе = 'зой4', 
Іабе! = 'Входные данные — ѕіп(х)!) 

# Зададим имена графику и числовым координатам 
ріс й0е(" Функция — 5іп(х)") 

р. хабе" Х") 

р.УаБе("У = зш(Х\") 


# Обученная сеть 
рі ріо(х_ааѓа, ошриб _, со]ог = 'теа', Іабе! = 'Обученная сеть — ѕіп(х)') 


# Выход сети по отдельным связям — \опа * їапђ(уі * х + Ы) 
рЕ.рюКх_Чаа, ори _пип0, со|ог = 'Ъ', іпеѕѓуІе = 'зойа’) 
ри. рюКх_даа, ори _пит0, 1абе='\оц * пап С\1 * х + Ъ1)) # аБеЕимя функции 


рЕ.рюКх_Чаа, ори _пит1, союг = 'Ъ', іпеѕѓуІе = 'ѕоіа”) 
рЕ.рюКх_Чаа, ори _пит1, 1аБе='\ош@. * Чат С\2 * х + Ь2)') 


рЕ.рюКх_Чаа, оџшіриќѕ_ пшт2, соіог = 'Ъ', іпеѕїуІе = 'зоНа') 
рЕ.рюКх_Чаа, ори _пит2, ІаБеЕ'%уошЗ * пап С\З * х + Ь3)) 


#рієріобх_ааѓа, оџриѕ_ пит3, соіог = 'Б', ћпеѕѓуІе = 'зоНа') 
#рієріобх_ааѓа,оџёриѕ_ пит3, соіог = 'о',Іабеі='мош4 * їапһ(м4 * х + 64)') 


#рієріобх_ааѓа, ошршѕ пит, соог = "Б', іпеѕїуе = 'зопа') 
#рЕ.рюКх_даа, ори пшт4, соіог = 'с', ІаБеі='%уоџ5 * (апһ(у5 * х + 65)') 
ріс Іесепа(10с=4) #ос — локация имени, 4 — справа внизу 


# Сетка на фоне для улучшения восприятия 
рЁ.ома(Ггае, Ппезуе='-', союг='0.75') 

# Показать график 

ріс ѕћом() 

Результат работы сета: 


Функция - ѕіп(х) 


5іп(Х) 


Ү = 


Входные данные - ѕіпіх) 
Обученная сеть - ѕіп(х) 

мо] + фапб(\1 *х + 01) 
угоиё2 * апп (м2 + х + 62) 
уоиз * апп (м3 *х + 03) 


На данной диаграмме отчетливо видно, как работает скрытый слой. Пусть на вход поступило 
значение 0,2. Взвешенная сумма будет представлять собой сумму всех трех значений с выхода 
нейронов скрытого слоя: 


(х) = мош * ќапһ(у0 * х + 00) + моп * ќапһ(у1 * х + 01) + уош2* ќапһ(у2 * х + 
2) = 6,0 5,8 + 0,7 = 0,9 

Проекции на ось ординат даны с приближениями. 

Так же отчетливо видна работа параметра Б, который задает смещение функций относительно 
ординаты (по горизонтали). 

Говоря иными словами, скрытый слой с нелинейной функцией активации, вносит 
нелинейную вариантность ответов на выходе. Если проиллюстрировать это на примере обычной 
классификации на два вида, то график мог выглядеть примерно таким образом: 
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А как скажется увеличение нейронов скрытого слоя, на выходных значениях сети. Ну тут 
интуитивно понятно, что значения будут ещё более сглаженными. Убедимся в этом, увеличив 
вдвое количество нейронов в скрытом слое: 
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Функция стала более сглаженной, но этого не очень заметно на данной диаграмме. 
Для того чтобы более наглядней рассмотреть, как влияет количество нейронов скрытого слоя, 


на выходные значения, нужно применить в нем другую функцию активации — ВЕГО 
“выпрямитель”: 


Ну а производная такой функции совсем элементарная. Производная линейной функции, 
проходящей через начало координат — это константа (а) помноженная на значение (х). 
Следовательно, получается: 

у = ах, у’ = ах’ =а, так как а =хиу=х, при х>0, то у’ =у>0 

Реализуем сеть с семью нейронами скрытого слоя и с функцией активации КЕША: 

ппрой патру аѕ пр 

прог та 

пирог тафюЬ.рурюЕ аѕ р 

ФтафрюЬ ше 


Кот бте ітрогі бте, 51еер #Для замера времени выполнения обучения 
бот ёт ітрогї іт #Для вывода прогресса обучения 
Кот ат пирог {дат по{ефоок #Для вывода прогрессаобучения. Только для рућоп поебоок 


#СОЗДАЕМ ИСХОДНЫЕ ДАННЫЕ 

# Зададим имена графику и числовым координатам 
рЕ.Не(" Функция — $ш(х)") 

р. хабе("Х") 

ріс уІабек"Ү = зш(Х") 


Х вт = [] 


У ѕіп = [] 
х= 0 
ме х < 1: 


У зп += [ (0.48*(таёһ.ѕ510(х*10))+0.48) ] # Создание целевых данных 

Х ѕп += [х] # Создание входных данных 

їх = ореп ('аќаѕеі/Юаќа ѕ1іп х.сѕу', ~) # Создаем или открываем для записи. у записываем в 
фаел 

Бу = ореп ('Яаѓаѕе/Юаќа ѕіп у.сѕу, №) # Создаем или открываем для записи. \ записываем в 
фаел 

їх.мтіќе (50(Х ѕіп)) # Читаем входные данные в массив 

Буммще (50(Ү ѕіп)) # Читаем целевые данные в массив 

х += 0.025 # Шаг данных 


Ёх.сюзе() 

Ғу.сІоѕе() 

#Создаем массивы данных для вывода 
Х $12 = пр.тегоѕ(Іеп(х_ѕіп)) 

Ү 5102 = пр.7егоѕ(Іеп(Ү ѕ1іп)) 

Х $12 = пр.аѕѓаггау(Х_ѕіп) 

Ү 5102 = пр.аѕѓаггау(Ү ѕ1п) 


# Вывод исходной синусоиды 

рЕ.рю(Х_5т, Ү ѕіп, союг = Бе’, һпеѕќуіе = 'ѕоПа’, 

ІаБеІ = '10(х)') 

# локация имени функции 

рК. Іесепа(1ос=4) #юс — локация имени, 4 — справа внизу 
# Сетка на фоне для улучшения восприятия 

р. опа(Тгае, һпеѕіуІе='-', союг='0.75') 

# Показать график 

рє ѕћом() 


# ЗАГРУЖАЕМ ДАННЫЕ И ЗАПИСЫВАЕМ В МАССИВЫ 

# Загрузить и подготовить тренировочные данные из формата СЗУ в список 

ігаіпіпо даѓќа = ореп("даазе/Баа_$т_х.сзу", 'т') # 'т – открываем файл для чтения 

ігаіпіпо даќа_ 1151 = їгаіпіпо даѓќа.геайіпеѕ() # геааіпеѕ() — читает все строки в файле в 
переменную Нашше_Даба_ 1151 

ігаіпіпо даѓа.сІоѕе() # закрываем файл сѕу 


# Загрузить и подготовить целевые данные из формата СЗУ в список 

Гагоеі даѓа = ореп("даазе/Оаа_зт_у.сзу", 'Г’) # 'т — открываем файл для чтения 

агое ааѓа 115 = (агсеі даѓа.геааіпеѕ() # геайіпеѕ() — читает все строки в файле в переменную 
пашше даѓа_ 1151 

Гагоеі даѓа.с1оѕе() # закрываем файл сѕу 


Юг1ш ігаіпіпо Яаѓа 115: 

# Получить входные данные числа 

а] уајџеѕ = 1.5рі(',) # Разбиваем на символы 

гу = Іеп(а] уаІџеѕ)-2 # Переменная размера данных. -2 чтоб избежать оштбок 
11риќѕ_ = пр.аѕѓаггау(а] уа1аез[1:1у]) # Массив входных данных 


ог 1 ір ќагоеі даќа |15: 

# Получить целевые данные числа 

а] уајџеѕ # = 1.5рі',) # Разбиваем на символы 

Гагоеѓѕ__ = пр.аѕѓаггау(а уаіџеѕ_ (1 :1у]) # Массив целевых данных 


# ПРОВЕРЯЕМ ВХОДНЫЕ ДАННЫЕ 

# Значения по Х входных данных 

х_ааѓа = іприќѕ__ 

рии еп(х_даа)) # Размер входных данных 
# Значения по У входных данных 

у_Чаа = іагоеѓѕ__ 

ргііпұІеп(у даѓа)) # Размер целевых данных 


# Зададим имена графику и числовым координатам 
рі. 00е(" Проверка данных — ѕіп(х)") 

ріс. хабе" Х") 

ріс уІіабе("Ү = 510(Х)") 


# Начальная прямая 
рі.рІобх_ааѓа, у аага, 'Ъ', ІаБе! ='Входные данные — $1п(х)') 
рК.Іеоепа(їос=4) #ос — локация имени, 4 — справа внизу 


# Сетка на фоне для улучшения восприятия 
рі опа(Тгие, іпеѕѓуІе='-', союг='0.75') 

# Показать график 

рЕ. вом 


Я Определение класса нейронной сети 
с1а5$ пеџгоп М№еї: 


# Инициализация весов нейронной сети 

ег ши _ (зе, шриЕ пит, пеогоп пит, ори пит, Іеагпіпогаѓе): #констр.(кол-во входов, 
кол-во нейронов) 

# МАТРИЦА ВЕСОВ 

Я Задаем матрицу весов как случайное от -0,5 до 0,5 


ѕеҒ.ууеіоһѕ = пр.гапаот.погта(+0.0, ро\(три_пит, -0.5), (пеигоп_пит, шрие пот)) 
зеЁ.\уею {5 _оиё = пр.гапаот.погта(+0.0, ром(пешоп пит, -0.5), (ошри_пит, пеигоп_пиил)) 


# Задаем параметр скорости обучения 
зеР.г = Іеагпіпогаќѓе 


раѕѕ 


# Метод обучения нейронной сети 

ае ігаіп(ѕе1Є, три |151, (агое(ѕ_ 50): # принимает (вх. список данных, ответы) 
# Преобразовать список входов в вертикальный массив. .Т — транспонирование 
при х = пр.атау(три 115, патш=2).Т # матрица числа 

Гагоеіѕ Ү = пр.аггау(ќагреѕ 1151, патш=2).Т # матрица ответов: какое это число 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ 

# Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 

х1 = пр.аозеР. ме, шриз_х)# ао – умножение матриц Х = №] = уе * іприќѕ 
# Вычислить сигналы, выходящие из нейрона 

#у1 = 1/(1+пр.ехр(-х1)) #Сигмоида 

УІ = пр.тахитит(х1, 0) #КЕШЈ 

#у1 = (пр.ехр(2*х1)-1)/(пр.ехр(2%*х 1)+1) #Тангенс 

# Вычислить сигналы в нейронах выходного слоя. Взвешенная сумма. 

х2 = пр.4оКзеН. меоһћѕ ои, у1) 


# ВЫЧИСЛЕНИЕ ОШИБКИ 

# Ошибка Е = -(цель — фактическое значение) 

Е = -((агоеѕ_Ү —х2) 

# Скрытая ошибка слоя-это оцёриќ еггогѕ, разделенные на весы, рекомбинированные на 
скрытых узлах 

Е Һайеп = пр.доКзе.мею0 5 _оцЕТ, Е) 


# ОБНОВЛЕНИЕ ВЕСОВ 

# Меняем веса по каждой связи 

зе. ууеіоһћіѕ ои -= зе Р.Ш * пр.4оК(Е * х2), пр.ігапѕроѕе(у1)) 

# Меняем веса по каждой связи 

зе. ууею[ 5 -= зе Р.Ш * пр.аок(Е Њааеп * у1 * (1.0 —у1)), пр.гапзрозе( три _х)) #Сигмоида 

ѕе.ууеіоһіѕ -= зе РГ * пр.ао((Е Њааеп * (ут > 0)), пр.ігапѕроѕе(1приѕ х)) #ВЕГО 

#ѕе1Е. ме1е $ -= ѕеІЕ г * пр.ао((Е һҺааеп * (1.0 – пр.ромег(у1, 2))), пр.гапѕроѕе(прибѕ х)) 
#Тангенс 

раѕѕ 


# Метод прогона тестовых значений 

Че! адчегу(зе!Р, шриз_1$0: # Принимает свой набор тестовых данных 
# Преобразовать список входов в вертикальный 2р массив. 

шриб_х = пр.аггау(1приќѕ _1$6 патш=2).Т 


ЯВычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 

х1 = пр.аоКзеР. ме, шриз_х)# 40+-— умножение матриц Х = \/*[ = уе * іприќѕ 
# Вычислить сигналы, выходящие из нейрона 

#1 = 1/(1+пр.ехр(-х1)) #Сигмоида 

УІ = пр.тахитит(х1, 0) #КЕШЈ 

#у1 = (пр.ехр(2*х1)-1)/(пр.ехр(2%*х 1)+1) #Тангенс 

# Вычислить сигналы в нейронах выходного слоя. Взвешенная сумма. 

х2 = пр.4оКзеН. меіоһћѕ ои, у1) 

геішт х2 


# Метод возвращает сигнал — моо * ќапһ\(уі * х + 61) 

аеғ доегупит2(ѕе]#, триб _156, пштпе?): # Принимает входные данные и номер комбинации 
# Преобразовать список входов в вертикальный 2р массив. 

шриб_х = пр.аггау(1приќѕ _ 115, патш=2).Т 


#Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 
х1 = пр.4оКзе[. ме, 1приќѕ_ х) 

# Вычислить сигналы, выходящие из нейрона 

#у1 = 1/(1+пр.ехр(-х1)) #Сигмоида 

УІ = пр.тахитит(х1, 0) #КЕШЈ 

#у1 = (пр.ехр(2*х1)-1)/(пр.ехр(2%*х 1)+1) #Тангенс 

У12 = пр.ӣо((ѕеІЃ. ею $_оиОпитие , у питпе]) 

геішгт у12 


#ЗАДАЁМ ПАРАМЕТРЫ СЕТИ 

Я Количество входных данных, нейронов 
ааѓа іпри = 2 

ааѓа пешгоп = 7 

дӢаѓа_ ошри = 1 


# Скорость обучения 
Іеагпіпогаѓе = 0.01 


# Создать экземпляр нейронной сети 
п = пеџгоп М№е((аѓа іпри, ааѓа пеџгоп, аѓа оџёри, Іеагпіпога 


# ОБУЧЕНИЕ 

Я Зададим количество эпох 
еросй$ = 60000 

зап = шипе() 

# Прогон по обучающей выборке 
#Рг е іп гапое(еросП$): 

{оге ш бчат(гапее(еросћѕ)): 

ог 1 ш гапее(Іеп(х_ ааѓа)): 


# Получить входные данные числа 

шриз_х = х Яаѓа[1] 

# Добавляем второй вход аз = 1 

шриб_х = пр.аррепа(трив_х, 1) 

{агое5 Ү = у аїа[1] # перевод символов в 10, 0 элемент — ответ 
#тоопа(х, 1) #Округление числа 


п.ігаіп(1приёѕ х, ќагреіѕ Ү) # наш метод баш – обучение нейронной сети 


ште оо = штпе() — “аи 
рип("Время выполнения: 


‚ ште ош, " сек" ) 


# Вывод обученных весов 
ргіп(' Весовые коэффициенты%\п', п.меісћіѕ) 
ргіп(' Весовые коэффициенты от скрытого слоя\п', п.\ее ои) 


# Создание значений на выходе сети 

ори _ = пр.аггау([]) 

ог 1 ш гапее(Іеп(х_ ааѓа)): 

прибѕ х = х Яаѓа[1] 

при х = пр.аррепа(1приіѕ х, 1) # Еще раз создаем массив входных данных 

# Прогон по сети 

оџёриѕ = пр.аррепа(оифри_, п.доегу(іприіѕ х)) # Еще раз создаем массив выходных данных 
обученной сети 

#оири5 = п.дчегу( три _х) 


Я Создание значений на выходе нейрона срытого слоя 
оири$_пип0 = пр.аггау([]) 
оири$ пит] = пр.аггау([]) 
оири$_пип2 = пр.аггау([]) 
оири$_пит3 = пр.аггау([]) 
ори _пип4 = пр.аггау([]) 
ори _пип15 = пр.аггау([]) 
оири$_пипаб = пр.аггау([]) 


Юг! ш гапее(Іеп(х_ ааѓа)): 

# Получить входные данные числа 

шри_пит = х_ ааѓа[1] 

11риќѕ пит = пр.аррепа(1приќѕ_ пит, 1) 

оири$_пип0 = пр.арреп4(оири _пит0, п.даегупат2 (три _пилт, 0)) 
ори _пит1 = пр.арреп4(оири _пит1, п.даегупит2 (три _пит, 1)) 
ори _пип2 = пр.аррепа(ошіриіѕ__пит2, п.даегупит2 (три _пилт, 2)) 
ори _пит3 = пр.аррепа(ошіриіѕ_пит3, п.даегупит2( три _пит, 3)) 
оири$_пип4 = пр.аррепа(ошіриіѕ_пшт4, п.даегупит2 (три _пит, 4)) 
ори _пип15 = пр.арреп4(ои ри _пипл5, п.даегупит2 (три _пит, 5)) 
ори _пипб = пр.арреп4(ои ри _питб, п.доегупит2(1приќѕ_ пит, 6)) 


# Еще раз выводем синусоиду 

Х зш = [] 

У зщ =[] 

х = 0.0 

ме х < 1: 

Ү ѕіп += [ (0.48*(таёһћ.ѕ10(х*10))+0.48) ] 
Х 5 += [х] 

х += 0.025 


Х $12 = пр.7егоѕ(Іеп(х_ѕіп)) 
Ү 5102 = пр.7егоѕ(Іеп(Ү ѕ1п)) 
Х $12 = пр.аѕѓаггау(Х_ѕіп) 
Ү 5102 = пр.аѕѓаггау(Ү ѕ1п) 


рЕ.рюкКХ_зт, Ү іп, союг = '6', һпеѕќуІе = 'зойа', 
Іабе! = 'Входные данные — ѕір(х)!) 


# Зададим имена графику и числовым координатам 
ріі.00е(" Функция — $1п(х)") 

ріс. хІабек" Х") 

ріс уІабек"Ү = $10(Х)") 


# Обученная сеть 
ріс ріо(х_ааѓа, ошриб _, со]ог = 'теа', ІаБе! = 'Обученная сеть — ѕіп(х)') 


# Выводим целевую синусоиду 

Х_ѕ = [] 

У зи = [] 

х = 0.0 

эме х < 1: 

У_5 += [ (0.48*(таёһ.ѕ51п(х*10))+0.48) | 


Х 5 += [х] 
х += 0.025 


Х $12 = пр.7его$Цеп(Х_51)) 
Ү 5102 = пр.7его$еп(У_511)) 
Х $12 = пр.аѕѓаггау(Х_ѕіп) 
Ү 5102 = пр.аѕЃаггау(Ү ѕіп) 


рЕ.рюкКХ_зш, Ү ѕіп, союг = 'Ъ', іпеѕ(уІе = 'ѕоја', 
Іабе! = 'Входные данные — ѕір(х)!) 

# Зададим имена графику и числовым координатам 
рі. 0е(" Функция — 51п(х)") 

рЕ.хаБе("Х") 

рЕ.УаБе("У = зш(®\") 


# Обученная сеть 
ри.рюКх_даа, оири$_, соог = 'теа', 1абе| = 'Обученная сеть — ѕіп(х)') 


# Выход сети по отдельным связям — моий * їапђ(уі * х + Ы) 
рЕ.рю(х_даа, ошіриѕ пит0, соіог = Ъ', Нпез бе = 'зо На’) 
р.рю(х_Чаю,оири_пит0, Јабеі='уои1 * (ап СУТ * х + 61)) # аБе=имя функции 


рЕ.рю(Кх_даа, ошри_пит1, союг = Ъ', Нпез бе = 'зо На’) 
рЕ.рюКх_Чаа, ори _пит1, 1аБе='\ош@. * пап С№2 * х + Ь2)') 


рЕ.рюКх_Чаа, ори _пип2, со[ог = 'Ъ', іпеѕѓуІе = 'ѕоіа”) 
р.рюКх_Чаа, оирив _пит2, 1аБен"\\оцЗ * (ап (\3З * х + 3)) 


рЕ.рю(Кх_даа, ошри_пит3, союг = Ъ', Нпез бе = 'зо На’) 
рЕ.рюКх_Чаа, ори _пит3, союг = 'о',Јабеі='уоиш4 * ќапћ(у4 * х + Б4)') 


рЕ.рюКх_Чаа, оџіриќѕ_пшт4, со]ог = 'Ъ', іпеѕѓуІе = 'зо[4’) 
рЕ.рюКх_даа, ори пит 4, соог = 'с', Іабеі='уош5 * ап (\5 * х + 65)) 


рЕ.рюКх_Чаа, оџіриќѕ_пит5, со]юг = 'Ъ', [пез е = '5о[4’) 
ріс ріо(х_ааѓа,оџіриѕ_пит5, со[ог = 'с', аБен"\ об * (ап (\б * х + 6)) 


рЕ.рюКх_Чаа, оџіриќѕ_ пштб, со|ог = 'Ъ', пез е = 'зопа') 
рЕ.рюКх_Чаа, ори _пит7, союг = 'с', ІаБеЕ'%уош7 * пап (№7 * х + 67)') 
рЕ1есепа(юс=4) #ос — локация имени, 4 — справа внизу 


# Сетка на фоне для улучшения восприятия 

рі опа(Тгие, іпеѕѓуІе='-', союг='0.75') 

# Показать график 

ріс $ћом() 

Я сразу привел полный текст программы, поскольку изменения по сравнению с предыдущей 
минимальны. Отмечу лишь функцию пр.тахипит(х1, 0), которая возвращает элемент равный 
аргументу х1, при значениях х1>0, а остальные значения равны нулю. Собственно, эта функция и 
реализует КЕПО. А условие (у1 > 0), при обновлении весов, не что иное как производная 
функции КЕПО. 

Результат работы программы: 
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А вот на этих диаграммах очень хорошо видна не сглаженность выходных значений, 
относительно эталонных. 


Если увеличить число нейронов в скрытом слое сразу в десять раз, тем самым увеличив их 
значения до семидесяти штук, то график будет выглядеть следующим образом: 


Функция - ѕіп(х) 
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На этой диаграмме мы уже можем наблюдать, большее количество ломанных линий 
выходных значений, тем самым делая их более сглаженными. 
На этом фоне, стоить отметить еще одно свойство аппроксимации математических 
функций нейронной сетью — устранение помех: 


Как и ранее при линейной классификации, наши значения на выходе стараются занять такие 
значения, которые по возможности удовлетворяли бы всем данным, тем самым занимая 
некоторое среднее положение. 

Давайте по очереди опробуем сеть с шестью нейронами скрытого слоя, с сигмоидальной 
функцией активации и обычной линейной функцией (без функции активации). 

Результаты работы программы с сигмоидальной функцией: 
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Результаты с линейной функцией: 
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Даже из самого определения — линейная функция, можно сделать вывод что она не способна 
вносить не линейность на выходе. Что наглядно подтверждает последний график. 


Набор данных рукописных цифр ММ$Т 
Распознать текст, написанный от руки, не всегда просто даже для самого человека. Интересно 
было бы узнать, как с такой задачей справляется искусственный интеллект. 
О трудности такого распознавания может служить следующая иллюстрация: 


ый 


Даже нам трудно понять, какие цифры здесь изображены, 
4 


ИЛИ 


9 


) 
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6 

? 

Некоторые из нас будут удивлены, что человек написавший их, имел в виду что первая цифра 
— это 9, а вторая 6. 

Существует целая коллекция изображений рукописных цифр. Эта коллекция очень известна и 
популярна в среде исследователей искусственного интеллекта. Ей часто пользуются для 
тестирования своих идей и алгоритмов, заложенных в нейронную сеть. 

Этим тестовым набором является набор данных рукописных цифр — “ММІЅТ”, любезно 
предоставляемая известным специалистом в области искусственных нейронных сетей — Яном 
Лекуном. База данных “ММІЅТ” предоставляется абсолютно бесплатно и находится по 
адресу: ћкр://уапп.Іесип.сот/ехаб/тпіѕ(/. 

Форматы файлов базы данных, на этой странице, не очень распространены и с ними не так 
легко работать. Но к счастью, другие специалисты позаботились об этой проблеме, они создали 
соответствую щие файлы В более простом формате. Например, на 
странице: ћрѕ://рјгеааіе.сот/ргојесіѕ/тпіѕ(-іп-сѕу/, вы можете скачать этот набор данных, в 
универсальном и знакомом нам формате .сѕу. На указанном сайте, для скачивания, 
предоставляются два файла: 

— тренировочный набор данных (50 000 наборов цифр) 

— тестовый набор данных (10 000 наборов цифр) 

Все наборы промаркированы, то есть в каждом экземпляре набора указан правильный ответ. 
Как и ранее – это нулевой элемент строки. 

Стоит отметить что данные в тестовом наборе не содержаться в тренировочном. Иными 
словами, при тестировании, сеть будет впервые встречать экземпляры из тестового набора. 

Посмотрим, что внутри у этих файлов: 


оо Уо шы + 


11,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 00,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,( 
10 14,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,{ 
11 13,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,42,1 
12 |5,0,0,0,0,0,0,0,0,0;0,0,0,0;0,0,0,0;0,0,0,0;0,0,0,0,0,0,0,0,0,0,0,0,0,0;0,0,0,0,0;0,0,0,0;0,0,0,0,0,0,0;0,0,0,0,0,0,0,0;0,0,0;0,0,0,0;0;0,0,0,0;0,0,0;0,0,0,0,0,0,0,0;0,0,0,0,0,0,0,0;0,0,0;0;0,0,0,0,0,0,0,0,0,0,0;0,0,0;0;0,0,0,0;0,0,0,0,0,0,0,0,0,0,0,0/4 
13 [3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0;0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0;0,0,0;0;0,0,0,0,0,0,0;0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0;0,0,0,0,0,0,0,0,0,0,0,0,0,0,0;0,0,0;0;0,0,0,0;0,0,0;0,0,0,0,0,0,0,0;0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,4 
14 16,00;0;0,0,0,0;0,0,0;0;0,0,0,0,0,0,0;0,0,0,0;0,0,0,0;0,0,0,0,0,0,0;0,0,0,0,0,0,0,0;0,0,0,0;0,0,0;0;0,0,0;0;0,0,0,0,0,0,0,0,0,0,0;0,0,0;0,0,0,0;0,38,222,225,0;0;0,0,0;0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0;0,0,0,147,234,252,176,0;0,0,0,0,0,0,0,0,0,0,0,0,0) 
15 1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,4 
16 |7,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 
17 |2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0;4 
18 18,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 
19 [6,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,34,169,250,40,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 
20 9,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1 
21 [4,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1 
22 |0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0/\ 
23 |9,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0/ 
24 1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,04 
25 з пппппдплпаплладпоапаоолооопоопопалпоапапопопапооопопоппапаолаопаопоопопоопаопаплопоопоололапапоапоао 166 252 55 попппоплапаплпопалап 
| тпізё баіп | @ л я 


Г: 


Давайте разберем что здесь понаписано. Каждый экземпляр цифры приведен в строках файла, 
в виде массива. В нулевом элементе этого массива, содержится целевое значение. На примере 
вышеизложенной иллюстрации, в нулевом элементе первой строки находится цифра 5, значит в 
строке зашифрована цифра 5, во второй 0, в третьей 4 и так далее. Последующие значения в 
строке, разделённые запятыми, — это значения пикселей рукописных цифр. Так как разрешение у 
всех цифр в этом наборе составляет 28х28 пикселей, то за каждым маркером следуют 784 
элемента массива строки. Если присмотреться к этим значениям, то можно понять, что они 
находятся в пределах от 0 до 255, где минимальный 0 — белый цвет, а максимальный 255 — 
черный. 

Используя логистическую функцию, обучая нейронную сеть на данном тренировочном 
наборе, нам придется привести все значения к диапазону от 0 до 1. А для того чтобы избежать 
ошибок, лучше всего к диапазону от 0,01 до 0,99. 

Но прибегать к стандартизации данных не будем, пойдём иным путём, просто разделим 
значения на максимально возможное (которое нам заранее известно) 255. Таким образом 
сохраним нужные пропорции и область данных будет лежать в пределах от 0 до 1. Где белому 
цвету будет присвоено значение 0/255=0, а чёрному 255/255=1. А с учетом масштабирования, в 
целях уменьшения ошибок при работе программы, добавим, кроме чёрного, всем цветам 
значение 0,01, а чёрный уменьшим до 0,99. 

Для реализации трехслойной структуры сети, с целью распознавания цифр из набора данных 
“ММІЅТ”, задумаемся о количестве нейронов в каждом слое. Очевидно, что на входе их 
количество определяется значением входных данных, а именно 784. На выходе мы должны 
классифицировать изображение, целевая метка будет указывать на номер выходного нейрона. А 
значит на выходе нам понадобится ровно 10 нейронов. Каждый из которых будет отвечать за 
закрепленное за ним число. Если ответом служит 0, то должен активироваться первый нейрон, а 
остальные должны “молчать”. Если ответом служит 1, то должен активироваться второй нейрон, 
при “молчании” остальных и так далее. 

А с количеством нейронов в скрытом слое определимся эмпирически, поскольку нет 
идеального метода для выбора скрытых узлов. Кроме того, и идеального метода выбора скрытых 
слоев тоже не существует. 

С учётом того что на выходе имеется 10 нейронов, а на входе 784, то будем считать, что 
рациональным промежуточным диапазоном значений количества узлов в скрытом слое, будет 
значение от 100 до 400. Изменяя в этом диапазоне значения количества узлов и меняя значения 
скорости обучения, можно улучшать итоговые результаты. 

Распознавание цифр из набора данных 

ММІЅТ 

Ну что же, реализуем в программе нейронную сеть распознающую рукописные цифры из 
набора “ММІЅТ”. 


Комментировать процесс подключения модулей, загрузки данных из файла, инициализации 
весов и параметров сети, алгоритма обучения, я не стану, так как всё это мы проделали ранее. 
Эти участки кода остаются практически не изменяемыми по сравнению с предыдущими. 

пирог питру аз пр 

# библиотека для вывода на консоль массивов 

пирог таќріо.руріоѓ 

# убедитесь, что участки находятся внутри этой записной книжки, а не внешнего окна 

Фтафрю И ше 

#рІ.ѕһох() # Вместо таро ше в других средах, не поеБоок 

Кот бте ппрой бте, 51еер #Для замера времени выполнения функций 

Кот ёт ппрой а4т #Для вывода прогрессавычисления функций 

# ојоб помогает выбрать несколько файлов, используя шаблоны 

пирог ојоБ 

# помощник для загрузки данных из файлов изображений РМО 

ппрой ѕсіру.тіѕс 


# Загрузить 11115 тренировочные данные в формате СЗУ 

ігаіпіпо даѓа #е = ореп("ММ№ІЅТ_ааѓаѕе(/тп15{_ (гаіп.сѕу", 'г)# "Г — открываем файл для чтения 

паште_Ааба_15( = (таїпіпо даѓќа Ёе.геааіпеѕ() # геайіпеѕ() — читает все строки в файле в 
переменную (гапо, даѓа_ 1131 

ігаіпіпо_ даѓќа #е.с1оѕе() # закрываем фаел сѕу 


# Определение класса нейронной сети 
с1а5$ пеигоп_ Ме: 


# Инициализация весов нейронной сети 

ае __ши__(зе!, іприє пит, пеигоп_пат, опфи пит, Іеагпіпогаќе): #констр.(входной слой, 
скрытый слой, выходной слой) 

# МАТРИЦЫ ВЕСОВ 

# Задаем матрицы весов как случайное 

ѕе.ууеіоһіѕ = пр.гапаот.погтак0.0, ром(їпри пит, -0.5), (пеогоп пит, шри_пиил)) 

зеЁ. ууеіоһћіѕ ои = пр.гапаот.погтак0.0, ром(пеогоп пит, -0.5), (ори пит, пеџгоп пит)) 

# Можно задать веса таким образом 

зе. \уею0 5 = (питру.гапаот.гапа(пешгоп_ пит, іприі пит) -0.5) 

зе. \уе1ю0 5 _оиЕ = (питру.гапаот.гапа(оџіриш пит, пецгоп пит) -0.5) 


# скорость обучения 
ѕеІЕ.1с = Іеагпіпогаќѓе 


раѕѕ 


# Обучение нейронной сети 
ЧеЁ (гаіп(ѕеІ, іприќѕ_ |15, (агоеіѕ _1$0: # принемает входной список данных (агое5 ответы 


# Преобразовать список входов в вертикальный массив. .Т — транспонирование 
приб х = пр.атау(три 15% патш=2).Т # матрица числа 
(агоеіѕ Ү = пр.атау(гое 1151, патш=2).Т # матрица ответов какое это число 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ ПО СЛОЯМ 
# Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 
х1 = пр.ӣо((ѕеІЁ. ме, шриз_х) # йог – умножение матриц Х = \/*1 = уею 65 * шри5 


# вычислить сигналы, возникающие из скрытого слоя. сигмоида(Х4еп -— сигнал скр.слоя) 
УІ = И+пр.ехр(-х1)) 


# вычислить сигналы в окончательном выходном слое (матрица сигналов выходного слоя) 

х2 = пр.ао(зеР. ууеіоћ5 ош, у1) 

# вычислить сигналы, исходящие из конечного выходного слоя. сигмоида(Хоири — сигнал 
вых.слоя) 

у2 = /(1+пр.ехр(-х2)) 


# ВЫЧИСЛЕНИЕ ОШИБКИ ПО СЛОЯМ 

# Ошибка выходного слоя Е = -(цель — фактическое значение) 
Е = -((агоеѕ_Ү – у2) 

# Ошибка скрытого слоя 

Е Һайеп = пр.докзеЁ. меоһѕ_ош.Т, Е) 


# ОБНОВЛЕНИЕ ВЕСОВ ПО СЛОЯМ 
Я Меняем веса исходящие из скрытого слоя по каждой связи 
ѕе. ууеіоһћіѕ ои -= ѕе г * пр.аоќ(Е * у2 * (1.0 – у2)), пр.гапзрозе(у1)) 


# Меняем веса исходящие из входного слоя по каждой связи 
ѕе.ууеіоһіѕ -= зе г * пр.ао((Е Њаадеп * у1 * (1.0 – у1)), пр.ігапѕроѕе(приќѕ х)) 


раѕѕ 


# МЕТОД ПРОГОНА СВОИХ ЗНАЧЕНИЙ ПО СЕТИ 

# Метод прогона тестовых значений 

Че! ачегу(зе!, шриз_1$0: # Принимает свой набор тестовых данных 
# Преобразовать список входов в вертикальный массив. 

шриб_х = пр.атау(приз_1$6 патш=2).Т 


# Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 

х1 = пр.аозеР. ме $, шриз_х) # 4о{— умножение матриц Х = \/*1 = уеюй 6 * іприќѕ 

# Вычислить сигналы, выходящие из нейрона. Функция активации — сигмоида(х) 

УІ = И+пр.ехр(-х1)) 

Я Вычислить сигналы в нейронах выходного слоя. Взвешенная сумма. 

х2 = пр.4оКзеН. уе ои, у1) 

# вычислить сигналы, исходящие из конечного выходного слоя. Функция активации — 
сигмоида(х) 

у2 = 1/(1+пр.ехр(-х2)) 


геішгт у2 


#ЗАДАЁМ ПАРАМЕТРЫ СЕТИ 

Я Количество входных данных, нейронов 
ааѓа іприѓ = 784 

Чаа_пеигоп = 220 

ааѓа ошри = 10 


# Скорость обучения 
Іеагпіпогаќе = 0.15 


# Создать экземпляр нейронной сети 
п = пеџгоп М№е((аѓа. три Ӣаѓќа пеџгоп, Ӣаѓа ошриѓ, Іеагпіпогаѓе) 


# ОБУЧЕНИЕ 
# Зададим количество эпох 
еросћѕ = 3 


{ап = ите() 

# Прогон по обучающей выборке 

{ог е ш гапое(еросћз): 

# Пройдите все записи в наборе тренировочных данных 

# ог гесога ш ігатіпо, даѓа 115: 

ог 1 ш ічат(ігаіпіпо даѓа 1151, Ӣеѕс = 50(е+1)): # а4т — используем интерактив состояния 
прогресса вычисления 

# Получить входные данные числа 

а] уајџеѕ = 1.5рі(',) # $=рії',') – раздел строку на символы где запятая 

# Массив данных входа с масштабированием от 0,01 до 0,99 

шри$_х = (пр.азРатау(аП уаюез[1:])/ 255.0 * 0.99) + 0.01 # Игнорируем нулевой индекс, где 
целевое значение 


ини 


‚ символ разделения 


# Получить целевое значение У, (ответ - какое это число) 
{агое5 Ү = шКа| уаез[0]) # перевод символов в іп, 0 элемент — целевое значение 


# создать целевые выходные значения (все 0.01, кроме нужной метки, которая равна 0.99) 
Гагое(ѕ_Ү = пр.7егоѕ(даќа ошри) + 0.01 


# Получить целевое значение У, (ответ — какое это число). а] уаез[0] — целевая метка для 
этой записи 
(агое5 _У[пКаП_уааез$[0])] = 0.99 


п.ігаіп(1приќѕ_х, {агое{з_У) # наш метод тат — обучение нейронной сети 


раѕѕ 
раѕѕ 


шпе ош = шпе() — “ай 
рііп({"Время выполнения: ", ште ош, " сек" 


Теперь, после обучения, нам нужно проверить сеть на эффективность, для этого загрузим 
данные из файла с тестовым набором данных: 


# ТЕСТИРОВАНИЕ ОБУЧЕННОЙ СЕТИ 

# Загрузить тестовый СЗУ-файл 

еѕі аага Ве = ореп("ММ$Т_даазети15 Е (еѕ(.сѕу", 'т) # т – открываем файл для чтения 

{е5(_Чаа_ 1151 = (еѕі Ӣаѓа ЁПе.теайіпеѕ() # геайіпеѕ() — читает все строки в файле в переменную 
(еѕі_ ааѓа і 

еѕі дага ВІе.сІоѕе() # закрываем файл сѕу 

А для проверки эффективности, используем формулу среднего арифметического (сумма 
результатов / количество данных в выборке). После чего, получим значение, лежащее в пределах 
от “0” до “1”, если помножить это значение на “100”, мы получаем процент предсказаний. Сумма 
результатов будет представлять собой сумму верных или не верных ответов сети, где верным 
ответом будет считаться “1”, а не верным “0”. 


# ПРОВЕРКА ЭФФЕКТИВНОСТИ НЕЙРОННОЙ СЕТИ 
# Массив показателей эффективности сети, изначально пустой 
еЁйслепсу = [] 


# Прогон по всем записям в наборе тестовых данных 

Юг ш (еѕї ааѓа |1: 

# Получить входные данные числа 

а] уаіџеѕ = 1.5рі(",) # 5рі',) — раздел строку на символы где запятая 

# Правильный ответ, хранимый в нулевом индексе 

Гагоеіѕ_Ү = 10411 уаІоеѕ[0]) 

# Массив данных входа с масштабированием от 0,01 до 0,99 

шриз_х = (пр.аѕѓатгау(а11 уаюез[1:]) / 255.0 * 0.99) + 0.01 # Игнорируем нулевой индекс, где 
целевое значение 


ин 


‚ символ разделения 


Я Запросить ответ у сети 

оири у = п.ацегу(три в х) # Прогон по сети тестового значения из нашего файла 

# Индекс самого высокого значения на матрице выхода, соответствует метке числа 

Іабе1 у = пр.аготах(оифив_у) # аготах возвращает индекс максимального элемента в 
выходном массиве 


# Добавить правильный или неправильный список 

И (абе! у == ‘агоев _У): # Если индекс макс. знач. на выходе = целевому значению (0 индекс 
массива данных) 

# Если ответ сети соответствует целевому значению, добавляем | в конец массива 
показателей эффективности 

еРИслепсу.аррепа(1) 

ебе: 

# Если ответ сети не соответствует целевому значению, добавляем 0 в конец массива 
показателей эффективности 

еРИслепсу.аррепа(0) 


раѕѕ 


раѕѕ 

Здесь, в процессе прогона тестовых данных по сети, создается массив для хранения ответов 
на выходе — еЁйсепсу = []. 

В цикле прогона по тестовым данным, делаем знакомые нам манипуляции с разделением 
строки на символы, для последующей их подачи на вход. Получением целевых значений из 
данных. Последующим масштабированием входных данных и запроса ответа на выходе сети, 
который сохраняется в переменной, для выявления максимального значения на одном из десяти 
выходах сети, для сравнение индекса этого числа с целевым результатом. После чего в конец 
массива эффективности, добавляем значения “0”, или “1”, где “0” символизирует что сеть 
ошиблась, а “1” что угадала цифру. Метод аррепа() – как раз позволяет добавлять значения в 
конец массива. 

Выводим процент совпадений с правильными ответами: 

# Вычислить оценку производительности. Доля правильных ответов 

еЁйслепсу_тар = пр.аѕаггау(еЁћсіепсу) # аѕаггау — преобразование списка в массив 


рип ('Производительность = ', (еЁЙслепсу тар.ѕит() / еЁйслепсу тар.з1е)*100, '%"') # Среднее 
арифметическое 


Ответ: 


Производительность = 97.09 % 

Как видим, процент распознавания цифры из тестовой выборки, довольно высокий и 
составляет чуть более 97%. Это не плохой результат. 

Теперь давайте проверим сеть на собственном наборе данных. Я подготовил восемь наборов 
цифр, один из которых я намеренно исказил, инвертировав цвета в цифре 8. 


о почетмю — 


# СОБСТВЕННЫЙ НАБОР ИЗОБРАЖЕНИЙ ДЛЯ ТЕСТА 
ту_Чабазей = [| # Для хранения данных и целевых значений 


# Загрузить данные изображения в формате РМС, как установить тестовые данные 

юг Ппазе_ Ме іп 2106.>105(ту_ипазе/_ту_?.рпз"'): # проход по файлам изобр. в папке 
ту_ипазе$ 

#ојоБ — из библиотеки 210Ъ, помогает выбрать сразу несколько файлов из папки 


Я Метка имени числа 
ІаБе] у = шКитазе_Ше[-5:-4]) # хранит число в файле ?.рпе, -5 это ответ какое число '' 
# от -5 до -4 это будет символ '', т.е метка числа 


# Загрузить данные изображения из рис файлов в массив 
ргіпё ("Имя файла: ', паре Не) # вывод пути и имени открытого файла 


ппаре 115 = ѕсіру. тіѕс.птгеай(птаре #е, Найепт=Ттае) #“айеп=Тгие” (“выровнять=Тгае) ~ 
превращает 


#изображения в простой массив чисел с плавающей запятой 


# Изменить формат из 28х28 в список 784 значений, инвертировать значения 


паве ааѓа = 255.0 — паре 115.геѕһаре(784) #преобразует массив из квадрата 28х28 в длинный 
список значений 


#вычитание значений массива из 255.0. т.к обычно '0' означает черное, а '255' означает белое, 
но набор данных ММІЅТ 


#имеет инверсные значения, поэтому мы должны их перевернуть 


Я Вносим данные шкалу с диапазоном от 0 до 1 
пасе аѓа = (птаре Паѓа / 255.0 ) # массив данных входа с масштабированием от 0 до 1 


# Добавить метку числа и данные изображения к общему набору данных 
ту Яаѓа = пр.аррепааБе| у, таре аѓа) 
ту_даѓаѕег.аррепа(ту_ааѓа) 


раѕѕ 


Здесь создаем массив для хранения данных числа из файлов — “ту Яаѓаѕеї = []”. В цикле, 
проходим по всем файлам в папке “ту ітпасеѕ”, в этом нам помогает библиотека “210”. Далее, 
сохраняем в переменные значений целевых результатов и входных данных. Целевые значения 
получаем с помощью метки числа в имени файла, для этого используем индексы и срезы. Запись 
“ипазе #1е[-5:-4]”, означает что мы берем пятый элемент массива с конца. В нашем случае, на 
примере файла “ ту 0.рпо” — будет значение “0”. 

Функция зсфу.пи5с.пигеа4(ипасе Ме, Пайеп=Тгие) — превращает данные из изображения в 
простой массив чисел с плавающей точкой. 


В переменную “ппазе Даа” вносим массив значений с плавающей точкой: 


ппасе_Чайа = 255.0 — ітпаре |іѕі.геѕһаре(784) 


Метод “тезВаре” — преобразует вектор входных данных в 2р матрицу с размерностью 28х28. 
Вычитая из 255, значения элементов в этой матрице, мы инвертируем черные и белые цвета. Это 
необходимо для того, что данные ММІЅТ представлены именно в таком формате, хотя обычно 
яркое свечение пикселя представляется большим значением. 


Далее вносим данные в шкалу значений от 0 до 1. И с помощью метода “аррепа”, добавляем 
результаты в конец массива данных. 


Далее следует сам алгоритм распознавания собственного набора данных: 


# ПРОВЕРКА СЕТИ НА СОБСТВЕННЫХ ДАННЫХ ИЗОБРАЖЕНИЙ 


Я запись для тестирования 
гоот_сһоісеѕ = 0 


# Изображение участка 

таѓр1о016.рурІоё.1тѕһом(ту _Яаѓаѕегоот_ сһоісеѕ ][1 :].геѕһаре(28,28), стар='Стеуѕ', 
шегроайоп="М пе”) 

# ту ааѓаѕеі — наш собственный набор тестовых данных 


# Правильный ответ в нулевом столбце 
сотгесі Јаре! = ту Яаѓаѕе{гоот сһоісеѕ][0] # в строках номер файла из папки собственных 
данных, 0 толбец — ответ какое число 


Я Входные значения 
шриё х = ту Яаѓаѕе{гоот сһоісеѕ][1:] # значение числа без ответа 


# Запросить сеть 
оџриќ у = п.доегу(іпрш х) # прогоняем тестовую выборку по сети 
ргіпё (ори у) # вывод по выходу сети 


ріп Минимальное значение: ', пр.тіп(оџіри у)) # вывод мин знач элемента на выходе 
ргіп' Максимальное значение: ', пр.тах(оџіри у)) # вывод макс знач элемента на выходе 


# Индекс самого высокого значения на выходе сети, соответствует метке 
питбег = пр.аготах(оџіри у) 
рпп(\оЦелевое значение: ', питбег) 


# Вывод правильный или неправильный ответ 

І (патбег == сотесі Іабе]): # если макс знач на выходе абе! = ответу (0 индекс из массива) 
сотгесі ЛаБе] 

ріп ("Угадал!!! :-)))) 

е[ѕе: 

ріп ("Не угадал! :-(((') 


раѕѕ 
Здесь, переменная “гоот сһоісеѕ” задает какое число из набора данных мы хотим распознать 
в данный момент. 


После функции вывода числа на консоль = тар Іо0.рур1оѓ. 
їтпѕһоу(ту аќаѕе{гоот сһо1сеѕ|[1 ].геѕһаре(28,28), из полученного массива данных 
“ту_Чаазеё” извлекаем целевые и входные данные. 


Затем запрашиваем сеть и сохраняем в переменную “ошриё у” результаты на выходе из сети. 
Выводим минимальное и максимальное значение из его элементов, после чего в переменную 
“питбег” сохраняем номер индекса максимального элемента — ответ сети. В последствии 
сравниваем это значение с целевым и выводим сообщение “Угадал” и “Не угадал” 
соответственно. 

Полный текст программы: 

проге питру аз пр 

# библиотека для вывода на консоль массивов 

пирог тафю.рурю: 

# убедитесь, что участки находятся внутри этой записной книжки, а не внешнего окна 

Фтафрю И ше 

Яр.зНо\!() # Вместо таро тіпе в других средах, не поефоок 

Кот бте ппрой бте, 51еер #Для замера времени выполнения функций 

Кот а4т ппрой іт #Для вывода прогрессавычисления функций 

# ојоб помогает выбрать несколько файлов, используя шаблоны 

пирог ојоБ 

# помощник для загрузки данных из файлов изображений РМС 

пирог ѕсіру.т15с 


# Загрузить 11115 тренировочные данные в формате СЗУ 

паште_Чаа_Ее = ореп("ММГЗТ _даёазе ти (гаїп.сѕу", 'т') # 'г — открываем файл для чтения 

паштте_Ааба_15( = (таїпіпо даѓќа Ёе.геааіпеѕ() # геайіпеѕ() — читает все строки в файле в 
переменную Наште_4аба_ 1131 

ігаіпіпо даѓа #е.с1оѕе() # закрываем фаел сѕу 


# Определение класса нейронной сети 
сІаѕѕ пеигоп_ Ме: 


# Инициализация весов нейронной сети 

аеҒ _ ши (зе, шриё пит, пеогоп пит, оџіри пит, Іеагпіпогаѓе): #констр.(входной слой, 
скрытый слой, выходной слой) 

# МАТРИЦЫ ВЕСОВ 

# Задаем матрицы весов как случайное 

ѕе.ууеіоһіѕ = пр.гапаот.погтак0.0, ром(їпри пит, -0.5), (пеогоп пит, іпри пит)) 

зеЁ. ууеіоһћіѕ ои = пр.гапаот.погтак0.0, ром(пеогоп пит, -0.5), (ошрш пит, пеџгоп пит)) 

# Можно задать веса таким образом 

зе. \уею0 5 = (питру.гап4отп.гап4(пеягоп_пит, шри_пит) -0.5) 

зе. \уе1ю0 5 _очЕ = (питру.тап4от.гап4(ошфри пит, пеигоп_пит) -0.5) 


# скорость обучения 
ѕеІЕ.1с = Іеагпіпогаѓе 


раѕѕ 


# Обучение нейронной сети 

ЧеЁ гат(зеР, 1приќѕ__|15, (агоеіѕ_ |150): # принемает входной список данных, агоеіѕ ответы 
# Преобразовать список входов в вертикальный массив. .Т — транспонирование 
шри$_х = пр.атау(три 1151, патіп=2).Т # матрица числа 

{агое5 Ү = пр.аггау(ќагоеіѕ 1151, патш=2).Т # матрица ответов какое это число 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ ПО СЛОЯМ 
Я Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 
х1 = пр.аозеР. ме, шриз_х) # 4о{— умножение матриц Х = \/*1 = уеюй 6 * іприќѕ 


# вычислить сигналы, возникающие из скрытого слоя. сигмоида(Х4еп -— сигнал скр.слоя) 
УІ = И+пр.ехр(-х1)) 


# вычислить сигналы в окончательном выходном слое (матрица сигналов выходного слоя) 

х2 = пр.аозеР. ме 5 ош, у1) 

# вычислить сигналы, исходящие из конечного выходного слоя. сигмоида(Хошіриіѕ — сигнал 
вых.слоя) 

у2 = /(1+пр.ехр(-х2)) 


# ВЫЧИСЛЕНИЕ ОШИБКИ ПО СЛОЯМ 

# Ошибка выходного слоя Е = -(цель — фактическое значение) 
Е = -(агоез_У —у2) 

# Ошибка скрытого слоя 

Е Һайеп = пр.ао((ѕеї уеоһіѕ оо Т, Е) 


# ОБНОВЛЕНИЕ ВЕСОВ ПО СЛОЯМ 
# Меняем веса исходящие из скрытого слоя по каждой связи 
ѕеҒ.ууеіоћіѕ _оиё -= ѕеЁ. г * пр.аоќ(Е * у2 * (1.0 – у2)), пр.ітапѕроѕе(у1)) 


# Меняем веса исходящие из входного слоя по каждой связи 
ѕе.ууеіоһіѕ -= зе г * пр.ао((Е адеп * у1 * (1.0 – у1)), пр.ігапѕроѕе(приќѕ х)) 


раѕѕ 


# МЕТОД ПРОГОНА СВОИХ ЗНАЧЕНИЙ ПО СЕТИ 

# Метод прогона тестовых значений 

аеғ адчегу(зе!Р, шриз_1$0: # Принимает свой набор тестовых данных 
# Преобразовать список входов в вертикальный массив. 

шриб_х = пр.агау(при_1$6 патш=2).Т 


# Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 

х1 = пр.аозеР. ме, шриз_х) # 4о{— умножение матриц Х = \/*1 = уеюй 6 * іприќѕ 
# Вычислить сигналы, выходящие из нейрона. Функция активации — сигмоида(х) 

УІ = И+пр.ехр(-х1)) 

# Вычислить сигналы в нейронах выходного слоя. Взвешенная сумма. 

х2 = пр.4оКзеН. меіоһћѕ ои, у1) 

# Вычислить сигналы, выходящие из нейрона. Функция активации — сигмоида(х) 

у2 = /(1+пр.ехр(-х2)) 


геішгт у2 


#ЗАДАЁМ ПАРАМЕТРЫ СЕТИ 

Я Количество входных данных, нейронов 
ааѓа_ іприѓ = 784 

ааќа пешгоп = 220 

ааѓа_ ошри = 10 


# Скорость обучения 
Іеагпіпогаѓе = 0.15 


# Создать экземпляр нейронной сети 
п = пеџгоп М№е((аѓа іприѓ, Ӣаѓќа пеџгоп, йаѓа оџри, Іеагпіпогаѓе) 


# ОБУЧЕНИЕ 
# Зададим количество эпох 
еросһѕ = 3 


ап = ите() 

# Прогон по обучающей выборке 

{ог е ш гапое(еросћз): 

# Пройдите все записи в наборе тренировочных данных 


# от гесога іп (гаіпіпо даќа_ 115: 

ог 1 ш іҷат(ігаіпіпо ааѓа |151, Чезс = 50(е+1)): # а4т — используем интерактив состояния 
прогресса вычисления 

# Получить входные данные числа 

а] уајџеѕ = 1.5рі(',) # $=рії(',') – раздел строку на символы где запятая 

# Массив данных входа с масштабированием от 0,01 до 0,99 

іприќѕ х = (пр.аѕҒагтау(а11 уајиеѕ[1:])/ 255.0 * 0.99) + 0.01 # Игнорируем нулевой индекс, где 
целевое значение 


ин 


‚ символ разделения 


# Получить целевое значение У, (ответ — какое это число) 
{агое5 Ү = шКа| уаез[0]) # перевод символов в Ш 0 элемент — целевое значение 


# создать целевые выходные значения (все 0.01, кроме нужной метки, которая равна 0.99) 
Гагое(ѕ_Ү = пр.7егоз$(даа_оифрий) + 0.01 


# Получить целевое значение У, (ответ — какое это число). а] уаез[0] — целевая метка для 
этой записи 
(агое5 _У[пКаП_уааез$[0])] = 0.99 


п.(гаіп(1приќѕ_х, {агоез_У) # наш метод тат — обучение нейронной сети 


раѕѕ 
раѕѕ 


шпе ошё = шпе() — “аи 
ргііп("Время выполнения: ", біте ош, " сек" 


# ТЕСТИРОВАНИЕ ОБУЧЕННОЙ СЕТИ 

# Загрузить тестовый СЗУ-файл 

еѕі ааа Ве = ореп("ММ$Т_даазе ти (еѕ(.сѕу", 'т) # т – открываем файл для чтения 

(еѕі_даѓа 1151 = (еѕі даа ЁПе.теайіпеѕ() # геайіпеѕ() — читает все строки в файле в переменную 
(еѕі_даѓа 11 

еѕі дага ВІе.сІоѕе() # закрываем файл сѕу 


# ПРОВЕРКА ЭФФЕКТИВНОСТИ НЕЙРОННОЙ СЕТИ 
# Массив показателей эффективности сети, изначально пустой 
еЁйслепсу = [] 


# Прогон по всем записям в наборе тестовых данных 

Гогтш (еѕї аӢаѓа |15: 

# Получить входные данные числа 

а] уаіџеѕ = 1.5рі(",) # 5рі',) — раздел строку на символы где запятая 

# Правильный ответ, хранимый в нулевом индексе 

Гагоеіѕ_Ү = 10411 уаІоеѕ[0]) 

# Массив данных входа с масштабированием от 0,01 до 0,99 

іприќѕ х = (пр.аѕѓатгау(а] уаіиеѕ[1:]) / 255.0 * 0.99) + 0.01 # Игнорируем нулевой индекс, где 
целевое значение 


ин 


‚ символ разделения 


Я Запросить ответ у сети 

ори _у = п.доегу(іпршѕ х) # Прогон по сети тестового значения из нашего файла 

# Индекс самого высокого значения на матрице выхода, соответствует метке числа 

Іабе1 у = пр.аготах(оџіршѕ у) # аготах возвращает индекс максимального элемента в 
выходном массиве 


# Добавить правильный или неправильный список 

И (абе] у == (агоеіѕ_Ү): # Если индекс макс. знач. на выходе = целевому значению (0 индекс 
массива данных) 

# Если ответ сети соответствует целевому значению, добавляем | в конец массива 
показателей эффективности 

еЁРИслепсу.аррепа( 1) 

ебе: 

# Если ответ сети не соответствует целевому значению, добавляем 0 в конец массива 
показателей эффективности 

еРИслепсу.аррепа(0) 

раѕѕ 

раѕѕ 


# Вычислить оценку производительности. Доля правильных ответов 

еҝсіепсу тар = пр.аѕаггау(еЁћсіепсу) # аѕаггау — преобразование списка в массив 

рип ('Производительность = ', (еЁісіепсу тар.ѕшт() / еісіепсу тар.ѕ17е)* 100, "%') # Среднее 
арифметическое 


# СОБСТВЕННЫЙ НАБОР ИЗОБРАЖЕНИЙ ДЛЯ ТЕСТА 

ту даќаѕеѓ = [] # Для хранения данных и целевых значений 

# Загрузить данные изображения в формате РМС, как установить тестовые данные 

юг ітаре Ме іп 216.205 (ту_ипазе/_ту_?.рпз'): # проход по файлам изобр. в папке 
ту_ипазе$ 

#106 — из библиотеки 2]0Ъ, помогает выбрать сразу несколько файлов из папки 


Я Метка имени числа 
1аБе! у = шКитазе_Ше[-5:-4]) # хранит число в файле ?.рпо, -5 это ответ какое число ''?' 
# от -5 до -4 это будет символ '', т.е метка числа 


# Загрузить данные изображения из рис файлов в массив 
ргіпё ('Имя файла: ', таре Не) # вывод пути и имени открытого файла 


ппаре 115 = ѕсіру. тіѕс.птгеай(1птаре Ше, Найепт=Ттае) #“Найет=Ттгие” (“выровнять=Тгае) ~ 
превращает 
#изображения в простой массив чисел с плавающей запятой 


# Изменить формат из 28х28 в список 784 значений, инвертировать значения 

ппасе_даа = 255.0 — паре 1151.гезВаре(784) #преобразует массив из квадрата 28х28 в длинный 
список значений 

#вычитание значений массива из 255.0. т.к обычно '0' означает черное, а '255' означает белое, 
но набор данных ММІЅТ 

#имеет инверсные значения, поэтому мы должны их перевернуть 


# Вносим данные шкалу с диапазоном от 0 до 1 
паре Даёа = (птаре Паѓа / 255.0 ) # массив данных входа с масштабированием от 0 до 1 


# Добавить метку числа и данные изображения к общему набору данных 
ту_4аа = пр.аррепааБе у, ттпаре ааѓа) 
ту_Чаазе.аррепа(ту_4аба) 


раѕѕ 


# ПРОВЕРКА СЕТИ НА СОБСТВЕННЫХ ДАННЫХ ИЗОБРАЖЕНИЙ 

# запись для тестирования 

гоот сһоісеѕ = 0 

# Изображение участка 

таѓр1о016.рурІоё.1тѕһом(ту ЯаѓаѕеЦгоот сһоісеѕ |[1 :].геѕһаре(28,28), стар='Стеузѕ’', 
шегроайоп="М пе”) 

# ту _ааѓаѕеі– наш собственный набор тестовых данных 


# Правильный ответ в нулевом столбце 
сотгесі Јаре! = ту Яаѓаѕе{гоот сһоісеѕ][0] # в строках номер файла из папки собственных 
данных, 0 толбец — ответ какое число 


Я Входные значения 
при х = ту Яаѓаѕе{гоот сһоісеѕ][1:] # значение числа без ответа 


# Запросить сеть 
оџшри у = п.доегу(іпрш х) # прогоняем тестовую выборку по сети 
ргіпё (ори у) # вывод по выходу сети 


рип 'Минимальное значение: ', пр.тіп(оири у)) # вывод мин знач элемента на выходе 
ргіп' Максимальное значение: ', пр.тах(оџри у)) # вывод макс знач элемента на выходе 


# Индекс самого высокого значения на выходе сети, соответствует метке 
питбег = пр.аготах(оџіри у) 
рипк\\иЦелевое значение: ', питђБег) 


# Вывод правильный или неправильный ответ 

І (патбег == сотесі 1аБе]: # если макс знач на выходе 1абе| = ответу (0 индекс из массива) 
сотгесі ЛаБе] 

ріп ("Угадал!!! :-)))) 

е[ѕе: 

ргіпќ ("Не угадал! :-(((') 


раѕѕ 


Результаты работы программы: 
1) 
Производительность = 97.09 % 


2) 

Имя 

файла 

: ту лтаое\ ту _0.рпо 

Имя файла: ту ітаре\ ту _1.рпе 
Имя файла: ту ітаре\ ту _2.рпе 
Имя файла: ту ітаре\ ту _3.рпе 
Имя файла: ту ітаре\ ту _4.рпе 
Имя файла: ту ітаре\ ту _5.рпе 
Имя файла: ту ітаре\ ту _б.рпе 
Имя файла: ту ітаре\ ту _7.рпе 
Имя файла: ту ітаре\ ту _8.рпе 


3) 
[16.66671197е-01] 


[2.56659427е-03] 

[9.32429328е-03] 

[6.77700446е-05] 

[1.92683835е-03] 

[2.02324562е-03] 

[3.13702331е-03] 

[8.52300221е-03] 

[2.36677373е-04] 

[4.81128855е-03]] 

Минимальное значение: 6.77700445779е-05 
Максимальное значение: 0.666671197018 
Целевое значение: 0 

Угадал!!! :-))) 
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Скачать исходники с кодом можно по ссылке: 

ћрѕ://о1ћор.сот/СатаСап/пеџгаітаѕѓег 

Для того чтобы воспользоваться, данными набора “ММІЅТ”, папку “ММІЅТ даѓаѕеі”, 
необходимо будет разархивировать. 

Если подвести итог по проделанной работе, можно сказать что мы достигли невероятных 
успехов. Пройдя путь от простейшей классификации двух видов, до распознавания цифр на 
большом объеме входных данных и обучаюшей выборке. Надо сказать, что мы использовали 
лишь самые простые математические концепции создания и обучения нейронных сетей. Но этого 
оказалось вполне достаточно чтобы показать результаты, которые сопоставимы с 


профессиональными. 
ГЛАВА 8 


Свёрточная нейронная сеть 

Если, при распознавании числа, на примере своих собственных значениях чисел, сеть часто 
ошибается, то это не связанно с тем что мы её плохо натренировали, ведь остальные 10000 
тестовых наборов она распознаёт достаточно точно. Всё дело в том, что такого типа сети, при 
распознавании изображений очень чувствительны к сегментации распознаваемого изображения. 
Иными словами, критична к области расположения объекта на изображении, его размеру, и углу 
его наклона. 

Чтобы избавиться от данных недостатков и тем самым улучшить качество распознавания 
изображений, были придуманы -— свёрточные нейронные сети. 


Сегментация изображений 


Для начала, проиллюстрируем вышесказанное на примере цифры “8”. Наша сеть 
действительно хорошо работает на простых изображениях, где цифра находится прямо по 


середине изображения: 
эило По 
8 
98% да! 
эило пано 
таасын 
0,01% неи! 


Это потому, что наша нейронная сеть обучалась только на центрированных “8”, со схожими 


размерами. Она совершенно не знает, что такое “8”, находящейся не в центре изображения или 
меньшего размера. 


Мы уже создали действительно хорошую программу для распознавания рукописных чисел, 
когда они находится в центре изображения. Но что если мы просканируем все части 
изображения небольшого размера на наличие, к примеру, всё той же цифры “8”, пока не найдем 
её? 


эило "8"? эило "8"? эило "8"? 


неил! нем! немил! 


эило наи? зимо нз"? эмо "3"2 


неил! нейл! да! 


А что, если мы просто обучим сеть большим количеством данных, включая “8” всех 
размеров, под разными углами и во всех положениях на картинке? Для этого нам даже не 
потребуется собирать новые данные для обучения. Мы можем просто написать участок кода в 
программе, который будет генерировать новые изображения с “8”, во всех видах различных 
позиций на картинке: 


= 12115 
81“ 


Но ведь нет смысла обучать сеть распознавать “8” вверху изображения отдельно от 
распознавания “8” внизу изображения, как если бы это были два совершенно разных объекта. 

Должен быть какой-то способ сделать нейронную сеть достаточно умной, чтобы она знала без 
дополнительного обучения, что “8” где-либо на картинке — это один и тот же объект. К счастью, 
такой способ есть! 

Ответ в свёртке изображения. Пояснить этот процесс можно на примере изображения котика: 


Е 


Как человек, вы интуитивно прекрасно понимаете, что это изображение имеют свою 
иерархию или концептуальную структуру. 

Глядя на изображение, вы разделяете признаки на составные части: 

— земля покрыта травой и цветами 


— на картинке присутствует котик 

— котик сидит на камне 

— камень лежит на траве 

— на заднем фоне находится кустарник 

Но самое главное, что мы узнаем образ котика независимо от того, на каком фоне и 
поверхности он находится. Нам не нужно заново учиться узнавать образ котика, на каждом 
новом фоне или поверхности. 

А созданная нами нейронная сеть не может этого сделать. Она думает, что “8” в новой части 
изображения — это совсем другой объект. Она не понимает, что перемещение объекта 
по изображению не делает его чем-то другим. Это означает, что она должна учиться 
идентифицировать каждый объект в любой возможной позиции. 

Нужно сделать так, что независимо от того, где на картинке находится объект, нейронная сеть 
могла его распознать. 

Мы сделаем это, используя процесс под названием свёртка (сопуовоп). 

Первый этап её работы будет заключаться в разбиении изображения на участки с 
определенным шагом: 


Тем самым, мы превратили одно изображение во множество более мелких. 

А вот теперь, мы подаем на вход нейронной сети, каждое из этих изображений, тем самым 
обрабатываем каждый фрагмент изображения одинаково. Если на фрагменте появляется 
интересующий нас класс, то этот фрагмент при обратном распространении ошибки, будет 
представлять наибольший интерес. При этом весовые коэффициенты будут общими для всех 
изображений: 


Выходной 


слой 
Входной Скрыплый 


слой слой <> 


Фа Веса | Веса Юю 


С) 


Стоит более детально описать процесс свертки между входом и скрытым слоем. Для этого 
представим входное изображение как 20 матрицу из пикселей, каждый из которых помечен 
определенной буквой. Веса так же представим в виде 2р массива. В свёрточных сетях они 
называются — фильтрами или ядром свертки. Если пройтись фильтром по всему изображению 
с шагом в один пиксель, то в скрытом слое получим следующие значения: 


Входной слой Скрытый слой 
и Ядро 


р е свёрилки 


Делаем шаг на один пиксель вправо: 


Скрытый слой 
Входной слой Р 
и Ядро 


МК свёрилки 


Повторяем шаги на один пиксель вправо, до окончания столбцов на входе: 


Скрытый слой 


Затем опускаемся вдоль строк матрицы входа на один пиксель: 


Входной слой Скрыилый слой 


и Ядро 
свёрилки 


Повторяем данные процедуры до конца: 


Скрытый слой 


иле? 


Зи] 


К слову — величина шага может быть иной, не обязательно в один пиксель. Но мы, в наших 
программах, будем использовать именно такой шаг. Так же будем рассматривать только 
одинаковое количество пикселей по строкам и столбцам на входе, то есть строго квадратное 
изображение поступающие на вход сети. 

А результирующее количество пикселей в скрытом слое, определяется простым 
соотношением: 


Скрымлый слой 
Входной слой Ядро иск 


РА «РЦ свёрилки 


53 
хх 
и п 
5$ 
| 
5 
+: = 
он 
ин 
кл 
р. 1] 
ЫВ 
уз үа 
ин 
ыы 


Так как мы будем рассматривать только квадратное изображение на входе, то количество 
строк в скрытом слое будет равно количеству столбцов. 

Количество ядер свертки, может быть любым, не только одно. Но надо соблюдать некоторые 
правила. Так каждому ядру соответствуют свои значения в скрытом слое, не связанные с 
другими ядрами: 


Ядро 
свёрилки и2.е+%2.Р+ 
++] 


14+? + 


Частое явление — когда на входе трехмерный массив. Это происходит из-за того, что для 
обработки цветного изображения его необходимо разбить на субпиксели которые соответствуют 
своему цвету, а именно красный, зеленый, синий, в системе КОВ. Результаты свертки в скрытом 
слое часто называют - картами: 


Скрыилый слой 

Е а Ядра 
Входной слой 

3х5х5 


4х4х> 2х2. 
© илим. 


ЕН ББ 
ЕН 


(карилы) 


Как видим прослеживается ряд правил, связанные с тем что если планируешь в скрытом слое 
получить определенное количество карт, то оно должно соответствовать количеству ядер 
свёртки. А также, каждое ядро должно состоять из определенного количества слоёв, которое 
соответствует количеству слоёв входных данных. 

Каждый слой ядра сворачивается со всеми слоями входных данных, а результатом этих 
действий служит общая взвешенная сумма, которая помещается в отдельную карту в скрытом 


слое. 
Соответственно, для следующего слоя, входные данные будут представляться в виде массива 


“2х2х6”: 


2х2х6 


А если мы захотим, чтобы на следующем слое было “8” карт, то размерность ядер была бы 
следующая — “2х2х6” или “1х1х6”, в количестве “8” штук (8х2х2х6 или 8х1х1х6). Откуда, 


размерность следующего слоя будет – “1х1х8” или “2х2х8” соответственно. 
Что происходит при обучении 


Поговорим о том, что свертка на самом деле делает на следующих слоях и как происходит 


обучение. 


Каждый фильтр можно рассматривать как идентификатор какого-то свойства. В фильтрах, 
стоящих сразу после входного слоя, активизируются простые свойства, а именно прямые 
границы, простые фигуры и кривые: 


Как это работает? 

Если прикрепить полносвязный слой в конец свёрточной сети, то мы сможем 
идентифицировать вводные данные, путем построения М-пространственного вектора в выходном 
слое, где “№” – число классов, из которых программа будет выбирать нужный. 

Структура такой простейшей сети: 


Скрыилый 
слой 
Скрытый (полносвязной Выходной 
Входной слой ды, слой 
слой (сверилочной сеили) 
Веса беха 


В выходном слое, количество классов задаем так же, как и ранее. Например, в программе по 
распознаванию цифр, у “№” будет значение “10”, потому что цифр всего “10”. Каждое число в 


этом векторе представляет собой вероятность конкретного класса. Например, если 
результирующий вектор для программы распознавания цифр это [0 0,2 0,25 0,9500000,01], 
значит существует 20% вероятность, что на изображении “1”, 25% вероятность, что на 
изображение “2”, 95% вероятность — “3”, и 1% вероятность — “9”. 

Обучение всей сети, будет выполняться всё теми же, уже нам хорошо известными методами — 
градиентным спуском и обратным распространением ошибки. Как это делается в полносвязных 
слоях мы хорошо знаем. Как происходит обновление весов в ядрах и распространение ошибки в 
свёрточных слоях, поговорим чуть позже. 

Так вот, алгоритм схож с тем что мы делали ранее, но здесь при обучении в ядрах (весах в 
свёрточной сети), активируются некоторые свойства. Особенностью которых является 
иерархическая структура, чем ближе к выходу, тем более сложные свойства в них проявляются. 
Если проиллюстрировать это на примере распознавания лиц человека, то получим следующую 


картину: 


А Һадеп 1ауег 1 ы44еп Іауег 2 Һайепр 1ауег З 
іприё Іауег 


252 УУМ 
ЭУ 

е 
0 < 


Замечаем, что в начале, в фильтрах активируются простые свойства, преимущественно 
наклонные линии, а ближе к выходу свойства уже представляют из себя объект распознавания. 

Попробую описать этот процесс на фильтрах входного слоя. 

Все изображения в общем, имеют ряд простых характеристик — кривые, перекрестия, 
наклонные линии и так далее. Скажем, пусть наш первый фильтр будет размером 4х4х1, и он 
будет детектором кривых, будем считать, что изображение не цветное и у фильтра глубина 1. У 
фильтра пиксельная структура, в которой численные значения определяют форму свойств (в 
нашем случае кривой): 


Когда у нас в левом верхнем углу вводного изображения есть фильтр, он производит 
умножение значений фильтра на значения пикселей в этой области. Давайте рассмотрим пример 
изображения, которому мы хотим присвоить класс, и установим фильтр в верхнем левом углу: 


= 0,91*1+1*1+1*1+0,9*1=5,81 


Как видим, если на вводном изображении есть форма напоминающая или повторяющая 
значения, которые представляет фильтр, то результатом будет большое значение (чем больше 


они похожи, тем больше значение). Теперь давайте посмотрим, что произойдёт, когда мы 
переместим фильтр в крайнее правое положение: 


Так как, в новой области изображения мало общих черт с фильтром, то фильтр кривой линии 
мало мог что-либо здесь засечь. Здесь уже значение намного ниже, по сравнению с верхним 
левым углом изображения. Карта свойств, или вывод сверхточного слоя, в нашем самом простом 
случае, при наличии всего одного фильтра кривой свёртки, покажет области, в которых больше 
вероятности наличия кривых. Высокое значение показывает, что на изображении есть что-то 
похожее на кривую. Низкое значение говорит о том, что на этом участке изображения есть мало 
что напоминающее кривую линию. 

Могут быть и другие фильтры для наклонных линий, кривых другой формы или просто 
прямых. Чем больше фильтров, тем больше глубина карты свойств, и тем больше информации 
мы имеем о вводном изображении. 

Углубляясь дальше в свёрточную сеть, фильтры активирую более сложные структуры 
(например – глаза, нос, губы и т.д.), из которых при дальнейшем углублении активируются ещё 
более сложные структуры (например – лица). 

Практика по свёртки значений изображения 
Реализуем программною операцию свёртки. Но для начала выведем формулу по которой 
будем её осуществлять. Для этого проиллюстрируем все необходимые для этого входные 
данные: 


араа 
аз|а8|27|48 
педал 


1, 1 1 1 


41501491516 


КЕРЕР 
е ри 
Б] Е 


а!= Кх"; Кх)- Функция акиливации 
+1. 


а! входной массив; 2 - скрытый слой (карила); 


и! - ядро свёрилки (веса); вОТ180(и/)=М/- перевернуилые веса 
(+1 
Е 3 ошибка входного слоя; Е – ошибка скрытого слоя 


На основании уже имеющихся знаний, мы легко сможем выразить формулу самой свёртки: 


д. 
н УУ май 


( _ 1+1 
215 2) 


Если подробней расписать для каждого элемента в карте, то получим: 


[+1. 

21= м11%01 + и/12*а2 + и/21*а5 + и22*46 
[+3. 

2 2= и/11*а2 + и/12*а5 + м21*46 + м2.2%47 


[+1. 
29= м11%2410+ м12%211+ м21%*2414+ и/22*415 


(+2. 
210= м11*411+ и/1.2*а12+ у/21* 415+ м2.2%2416 


Теперь запрограммируем вышесказанное. 
Вводим данные для свёртки: 
птроге питру аз пр 


#ВХОДНЫЕ ДАННЫЕ 
т = 4 #Размерность входного массива(ДхШ) 
К = 2 #Размерность ядра свертки (ДхШ) 
ш_К 1 = (т-к)+1 #Размерность одной карты скрытого слоя свертки (ДхШ) 
зюК_\ = 2 #Число ядер свертки и соответственно количество карт срытого слоя (ДхШ) 
зюЬ_ у = К*К #Количество элементов в ядре свертки между входным и скрытым слоями 


х1 = пр.агапое(1,т*т+1).геѕһаре(т,т) #Входной 2р массив данных 

№1 = пр.агапее(1,$юК_\м”*зюБ_\ +1).теѕһаре(ѕіок у, К.К) #Ядра свертки (веса) 

х2 = пр.тего$((зюК_\, т К 1, т К 1)) #Выходной массив (карты скрытого слоя) 

#($1, І, Р) = х1.5Варе # Получаем размеры выходного массива 

(52, #2, 2) = х2.5һаре # Получаем размеры выходного массива 

е2 = пр.агапое(1,52*Е2*Р2-1).гезваре($юК_\, т К 1, т К 1) #Ошибка скрытого слоя (размеры 
должны совпадать с картой этого слоя) 

№: = 0.01 #Скорость обучения 

рпі ('х1: ','\п', х1, ^а) 

рпі (м1: '„\а',№1, \№) 


Как говорилось ранее, мы будем рассматривать случаи с квадратными матрицами на входе 
(кол-во пикселей входного изображения по диагонали равны количеству пикселей по вертикали), 
а шаг прохода ядра во всех случаях будет равен единице. Так как размер строк и столбцов 
входной матрицы одинаков, то одного параметра для их выражения вполне достаточно (т=4). 
Размерности ядра свертки тоже квадратные и определяются одним параметром (к=2). 
Размерность карты скрытого слоя так же определена одним параметром (т_К_1 = (т-К)+1). 

Не будем придерживаться строгости обозначения имен в программе с обозначениями в 
иллюстрации. Как видим, матрица, отвечающая за входное значение — обозначена как “х1”, ядро 
свертки как “\1”, а карта признаков как “х2”. При создании массива скрытого слоя, необходим 
трехмерный массив — “х2 = пр.хегоз((зюК у, т К 1, шК 1))”. Здесь значение “5®К_\” — 
определяет третье измерение, а точнее количество карт, а значения “т _к_ 1” — количество строк 
и столбцов в картах. 


Метод агапое() — создаёт массив из последовательности чисел, аргументами этого метода 
является начало точки отсчета и конечное значение числа. Метод теѕћаре(), определяет 
измерение массива, в нашем случае он переводит одномерный массив с элементами от 1 до 16, в 
двумерный массив 4х4. 

Метод 7егоз() — позволяет создать массив с нулевыми значениями его элементов. 

Массив ошибки скрытого слоя “е2” и значение скорости обучения, заданы для последующего 
их использования, сейчас мы их использовать не будем. 

Сам алгоритм свёртки не представляет из себя чего-либо сложного: 

# ОПЕРАЦИЯ СВЁРТКИ 

рип Вход х1Ап', х1) 

рий(Вес м1%\0',№у1) 


Гог $ Іп гапое(ѕ(0к у): # Цикл по количеству ядер свёртки 

юг В ш гапее(т_К_1): # Цикл по количеству проходов ядра свёртки, по горизонтали от 
входных данных 

Гог № іп гапсе(т_ К 1): # Цикл по количеству проходов ядра свёртки, по вертикали от входных 
данных 

х2 [5,,№] = пр.ѕшт(х1 [:ћ+К, мм] * %1[5]) # Сумма поэлементного умножения области 
входных данных с ядром 


рип 'Сверточный слой х2\п', х2, '\п') 


Здесь в циклах последовательно проходим отдельным ядром свертки по ширине и высоте 
входного массива. Для определения локальной области нахождения ядра в входном массиве (для 
дальнейшего произведения их значений), используем срезы по строкам и столбцам в входном 
массиве. 

А карта свойств скрытого слоя, формируется из суммы значений произведения ядра на 
область входного массива. 

Отображение данных, при результате работы программы: 

х1: 

[1234] 

[5678] 

[91011 12] 

[13 14 15 16] 


№1: 
[Ш 2] 
[3 41] 


15 6] 
[7 8]]] 


Отражение данных операции свертки: 


Сверточный слой х2: 
Ш. 54. 64.] 

[ 84. 94. 104.] 

[ 124. 134. 144.1] 


[1 100. 126. 152.] 
[ 204. 230. 256.] 
Г 308. 334. 360.1] 


Практика обратного распространения ошибки и обновления 
весов ядра свёртки 


Собственно, распространение ошибки, в свёрточных сетях, происходит аналогичным 
образом, как в полносвязной сети. Но все же, так как сеть не полносвязная, есть некоторые 
особенности. 

Для лучшего понимания проиллюстрируем процесс прохода перевернутым ядром свёртки по 
входному массиву, предварительно упростив его до размерности 3х3, (для чего я перевернул 
ядро, станет ясно чуть позднее): 


Замечаем, что при перевернутых весах, их произведение на элементы входа, отображаются 
зеркально. Например, относительно значения веса %1.1, в первом шаге вместо — х1,1*үү1,1, будет 
— х2,2* 1,1. То есть, если смотреть относительно элементов ядра, то при произведении, 
локальная область входного массива переворачивается на 180 относительно не перевернутых 
весах в ядре. 

Теперь попробуем на этих основаниях узнать, как обновляются весовые коэффициенты в 
ядрах свёртки. 

Если выделить отдельный элемент веса в ядре свёртки и проследить с какими областями 
входного массива он взаимодействует (произведение входа на вес): 


К2хК2 (Н-К1+1)к(М-К2+1) 


пиксель ум. и' 


Мил. и' 


Обласиль вВзаимодейсилвия пикселя Мили! с входным 
массивом ири сверилке 


Попробуем вывести формулу обновления весовых коэффициентов: 
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Откуда получаем формулу обновления весовых коэффициентов в ядре: 


Н-К1 ии-К2. [+1. 
ДЕ _ Ж ФЕ Ях г] 

Дуул" и" ту о дент Фил м 

Н-Кл. м-к2. 
[+1 | 
8 Е,. ы А гил ји 
я 1] 

=о ]=0О 


В ходе того что при вычислении градиента мы перевернули ядро, мы выяснили, что входные 
значения так же перевернуты относительно весовых коэффициентов. Исходя из чего, уравнение 


примет окончательный ВИД: 


1 ( 
ФЕ ы Е; РР КОТ180( Я (ил ри) 


Как обновлять весовые коэффициенты надеюсь мы хорошо знаем, но напомнить себе еше раз 


не помешает: 


новый жіј = старый У – Г(9Е/4\!) 
Распишем подробней нахождение градиента, относительно наших данных: 


ДЕ +2. (4-1. 
Е И аена 
Ежа Гаде к а + ав жаі + 
ажа кав вай Е еа + 
дЕ? ч а! 
АЕ | (+12. +2. 
дгадЕ,= 12 ин "= Е *а А & ЧЕ > каї + 
деж Аав на ав 
„ДЕ т А+ ЧЕ а Д ава + 
аав жа! 
Программируем: 


ри 'Вход х1А0', х1) 
ріп Ошибка е2\п', е2) 


ае Хгої_ 180(Х_ гог 180): 

#Рт $ іп гапое(ѕ(0К №): 

Х гоі 180 = пр.№рі(Х го 180) 
Х гог 180 = пр.Ёроа(х_ тог 180) 
теги Х_ гоё 180 


Гог $ іп гапое(ѕ%0К у): # Цикл по количеству ядер свёртки 
#г В ш гапее(т-(т_К_ 1)+1): 
Гог В іп гапое(К): # Цикл по количеству элементов ядра свёртки, по горизонтали 


# ог у ш гапее(т-(т К_1)+1): 

Гог № ш гапое(К): # Цикл по количеству элементов ядра свёртки, по вертикали 

У\1[з, Б, №] = пр.ѕшт(е2[5] * Хгоё 180(х Цћ:Ь+т К 1, \м-+т_К_1])) # Сумма поэлементного 
умножения области входных данных 

#и ошибки скрытого слоя 


рип ‘Обновленные веса №1 \0', №1) 


Сразу покажем результат работы программы: 


Вход х1: 
[1234] 
[5678] 
[91011 12] 
[13 14 15 16] 
Ошибка е2: 
Ш т2 3] 
[456] 
[7891 


[10 11 12] 

[13 14 15] 

[16 17 18]]] 
Обновленные веса №1: 
Ш 192 237] 

[ 372 417]] 


[[ 678 804] 
[1182 1308] 


Здесь, при обновлении весов, для наглядности, я не стал вычитать градиент из старого 
значения. 

В программе, в функции “Хто! 180()” осуществляется переворот локальной области матрицы 
входа, которая в качестве аргумента передается в эту функцию. Метод “ИфрН()”, в теле функции, 
меняет местами столбцы матрицы, по принципу — конечный столбец становится начальным, 
предпоследний вторым и так далее: 


>>> А = пр.1а2([1.,2.,3.]) 
>>> рипКА) 

аггау([[ 1., 0., 0.], 

[0., 2., 0.], 


[0., 0., 3.) 

>>> пр.ИрЕ(А) 
>>> рипКА) 
атау([[ 0., 0., 1.], 
[:0.:2::0:]; 

[3., 0., 0.) 


А метод “роа()”, по тому же принципу, переставляет местами строки в массиве: 
>>> рипКА) 

агау([[ 0., 0., 1.], 

а 

[3., 0., 0.) 

>>> пр.Ириа(А) 

>>> рипКА) 

аггау([[ 3., 0., 0.], 

[9250.1 

[0., 0., 1.) 


Таким образом, мы переворачиваем на 180 область входного массива. 

После чего, в циклах осуществляем произведение матрицы ошибки, на каждой карте в 
отдельности, на локальную область входного массива, перевернутого с помощью функции 
“Хто! 180()” на 180. В функцию, как уже не однократно говорилось, передаем локальную 
область входного массива, для чего используем аппарат языка Рућоп – “срезы”. 

Возникает ещё один вопрос — как осуществляется обратное распространение ошибки в 
свёрточных сетях? Будем действовать по аналогии с тем, как мы действовали с полносвязными 
сетями. То есть, величина ошибки на нейронах входного слоя, будет определяться 
произведением ошибки нейронов и веса, с которым он связан относительно входа: 


То есть, произведение связанного веса перевёрнутого ядра и ошибки скрытого слоя, даёт 
матрицу ошибок входного слоя: 


Если отобразить это в виде прохода по матрице ошибок скрытого слоя: 


Это очень наглядная иллюстрация. Теперь становится понятно, зачем мы перевернули ядро 
свертки при вычислении градиента. 
Теперь представим всё это в математической форме: 


Я 
АЕ ав азі? 2ч 
ЕЕ. 22 Е 
а 2, ада аа 2288 4 
> Уан с4а = рий 92 у : 404 Е и) _ 
- ра. ј = ечи КоТт180( м!) 


Соответственно, для наших первых двух и последнего входных значений ошибки: 


( Р 
Е3.-= 28 = Еў 22 
4а1 
[ [+-1. 
Е2 = ФЕ = ЕЁ 21 + ЕЗ% №22 
4а2 
и Я 
Е16= 28 = ЕР 
4а16 


Ну что же, теперь запрограммируем алгоритм обратного распространения ошибки: 


# ОБРАТНОЕ РАСПРОСТРОНЕНИЕ ОШИБКИ 

Я Функция переворота матрицы весов на 180 

е1 = пр.7егоз(($0К_\, т, т)) #Ошибка входного слоя 
деЁ го 1800 тог 180): 

{ог $ іп гапое(ѕќоК №): 

ҮҮ _тоЕ 180[5] = пр.ИфрЕ(У го 180[5]) 

УУ _тоЕ 180[5] = пр.роа(ўу гог 180[5]) 

тега № го 180 


го 80_\1 = гог 180(%1) 
ргіп'Перевернутые веса гої180 \1 А’, гоі180 №1) 


# Создадим матрицу размера — для прогона весов как показано на слайде 
е2_4етр = пр.7егоѕ((5їоК_ №, т+К-1, т+Кк-1)) 

# Поместим в центр ошибку на предыдущем слое 

Гог $ ш гапое(ѕ(0К_ №): 

е2 гетр[ѕ, К-1лт_К_1+К-1, К-1:п К 1+к- 1] =е2[$] 


ртіп Матрица размера — для прогона весов как показано на слайде е2 іетр\п', е2 ќетр) 


# Проходим по этой матрице перевернутыми ядрами 

Гог $ ш гапое(ѕ(0К_ №): 

ог В ір гапое(т): 

ог № ір гапое(т): 

#е1[5,һ,№] = пр.запа(№ * е2 ќетр[5, Һ:ћ+К, \м-К] * го180 м1[5]) 

е1[5,һ,№] = пр.зат(№ * е2 (етр[5, В:В-+К, м:у+К] * го180 15] * 1/1+пр.ехр(-х ЦВ, \]) * (1 – 
1/1+пр.ехр(-х ПВ, №]))) 

рип 'Ошибка до суммы - е1\п', е1) 


# Сумма ошибки (значения храним в 1м массиве) 
{ог $ іп гапое($юК_\-1): 

е1[0] =е1[$] +е1[$+1] 

рип ‘Ошибка после суммы - е1\п', е1) 
рип(Ошибка входного слоя — е1\п', е1[0]) 


Результат: 


Перевернутые веса го{180_\1 : 
Ш 417 372] 
[237 192]] 


[1308 1182] 

[804 678] 

Матрица размера — для прогона весов как показано на слайде е2 {етр: 
[120;.0:.0.:0..0 


[0. 0. 0. 0. 0.]] 


[[0. 0. 0. 0. 0.] 

ГО. ТО 1142.03] 

[0. 13. 14. 15. 0.] 

0:16:17: 18::0:] 

[0. 0. 0. 0. 0.) 

Ошибка до суммы – е1: 

[Ш 2.46134113 6.28326256 10.50991501 7.11134185] 
[11.4001816 30.69002458 42.87000333 26.73000045] 
[ 28.32000006 67.23000001 79.41 46.35 ] 

[ 26.04 58.95 66.84 37.53 ]] 


[[ 68.34134113 155.05326256 169.80991501 96.48134185] 
[ 206.3401816 460.26002458 499.98000333 277.56000045] 
[ 262.14000006 579.42000001 619.14 340.92 ] 

[ 189.12 410.22 435.12 235.44 ]]] 

Ошибка после суммы - е1: 

[1 70.80268227 161.33652511 180.31983002 103.5926837 ] 
[217.7403632 490.95004915 542.85000665 304.2900009 ] 
[ 290.46000012 646.65000002 698.55 387.27 ] 

[215.16 469.17 501.96 272.97 ]] 


[ 68.34134113 155.05326256 169.80991501 96.48134185] 
[206.3401816 460.26002458 499.98000333 277.56000045] 
[ 262.14000006 579.42000001 619.14 340.92 |] 

[189.12 410.22 435.12 235.44 ]] 

Ошибка входного слоя – е1: 

1 70.80268227 161.33652511 180.31983002 103.5926837 |] 
[217.7403632 490.95004915 542.85000665 304.2900009 ] 
[ 290.46000012 646.65000002 698.55 387.27 ] 

[215.16 469.17 501.96 272.97 |] 


Видим схожую функцию с переворотом области массива входных данных — переворота весов 
“ то 180()”. Здесь ничего принципиально нового, так же в теле функции переставляем столбцы и 
строки. 

Далее, создаем массив “е2 ќіетр” для прохода по нему ядрами согласно нашему слайду. С 
помощью “срезов”, помещаем в его центр массив ошибок скрытого слоя — “е2 ќетр[, 
К-К 1+к-1, К-т К 1+к-1] = е2[5]”. 

После чего, в циклах производим само действие обратного распространения ошибки. Здесь, 
для лучшего понимания, я сразу нахожу ошибки с учетом сигмоидальной функции активации 
входного и скрытого слоёв. 

Затем, на выходе получаем два массива. Это связанно с тем, что я умножил массив ошибок 
скрытого слоя отдельно по своим картам, а нам нужна сумма всех ошибок. Я решил эту 
проблему очень просто – я просуммировал эти два массива, а результат сохранил в первом — 
“е1[0] = е1 [$] + е1[5+1]”. После чего вывел на консоль окончательный результат – “ргіп('Ошибка 
входного слоя — е1\п', е1[0])”. 


Глубокие нейронные сети и проблемы их реализации 


Свёрточные нейронные сети часто называют – глубокими нейронными сетями. Такое 
название они получили неспроста. Как правило, свёрточные сети имеют более трех слоёв. А на 
практике, в большинстве случаев, и более десятка. Существуют сети с количеством слоёв более 
сотни. 

Увеличение слоёв благотворно влияет на конечный результат. 

Есть уже готовые наиболее популярные модели. Одна из самых простых таких глубокий 
сетей – УСС16, которая состоит из шестнадцати слоёв, крайние три из которых представляют 
собой полносвязные слои. 


224х 224х3 224х224х 64 


28 х 28 х 512 7х7х512 
8 
ИЕ 1х1х4096 1х1х1000 
_—1х1х4096 1х1х1( 


Е сопуошоп-- Веб о 


Е} шах роойпе 
Е Шу соппес4еа-+ВеГ.О 


Е? зоЁйяпах 


Наиболее частыми функциями активации в глубоких свёрточных сетях, являются “ВЕЦО” и 
“зоНтах”. Функция “ѕойтах”, из-за своих свойств как правило активирует только выходной 
слой. Функция активации “КЕГО” тоже выбрана неспроста, она наименьшим образом 
подвержена затуханию градиента при обратном распространении ошибки, в отличие от той же 
сигмоиды, и всех тех функций активации, которые мы рассматривали ранее. 

Большой сложностью при моделировании глубоких свёрточных сетей, является нехватка 
вычислительных ресурсов. Для оптимизации расчетов и в следствии более быстрого обучения 
сетей (в том числе и свёрточных), используются специализированные библиотеки машинного 
обучения. Одной из самых популярных является “ТепзотЕю\” от корпорации “Соое”. Кроме 
того, эти библиотеки зачастую могут выполнять расчеты на графических ускорителях, где 
значительно распараллеливаются необходимые операции, благодаря чему, добиваются 
ускоренного обучения в несколько десятков раз. 

В данной книге я условился не использовать специализированные библиотеки для машинного 
обучения, у нас другая цель. 

Наша цель — изучить принципы работы искусственных нейронных сетей. 

Но не используя специализированные библиотеки, на обучение сети по типу УСС16 уйдут 
месяцы, а в реальной жизни, ваш компьютер скорее всего просто “зависнет”. 

Выход из этого положения только один — значительно упрощать сеть. Главным образом 
снижая количество слоев и ядер свертки, подавая на вход не цветное изображение. В качестве 
входных данных будем использовать, всё тот же старый добрый “ММТ”. 


Понимаю, что для “ММІЅТ” нет смысла применять свёрточные сети, так как изображения в 
нём расположены по центру и имеют примерно одинаковые размеры. Но для проверки 
работоспособности наших алгоритмов он вполне даже сгодиться. 

Существует еще один готовый набор данных — “СТЕАВ-10”. “СТЕАК-10” — классификация 
небольших изображений по десяти классам: самолет, автомобиль, птица, кошка, олень, собака, 
лягушка, лошадь, корабль и грузовик: 


аігріапе Д 9 77 „ ШРШ — 
ашотоьіе 29 29 У = Оа о а Ы 
а М НМ 
И | 1 ЕТ а 
в’, ШД Е Б ГАВА 
чт ВГА 
їгод ег ру рка 
ос БС ЕЕ Е 
трии р рч 
Е РЕ 


Размер изображений в “СІЕАК-10” немного больше по сравнению с “ММІЅТ” – 32х32, но 
главным отличием от “ММІЅТ”, является то, что у “СІЕАВ -10” изображения цветные, глубина у 
него на три пункта больше (32х32х3 у “СІЕҒАК-10”, 28х28х1 у “ММІЅТ”), что в нашем случае, 
значительно снизит время обучения. Поэтому мы не будем использовать этот набор данных. 


Реализация сети с одним свёрточным слоем 
Ну что же, за дело! Реализуем следующую структуру сети: 


р ‚ Преобразование 
Скрыилый слой рер 


24х2.4х9 


=> 6 вериликальный 


Ядра 
Входной слой 5х5Х4/ 
28х28х1 / 


/ 
$ 


Выходно 


Полносвязные СЛОЙ 
слои 10 


Так как количество слоев небольшое, то в качестве функции активации будем использовать — 
сигмоиду. 

Внесем, по возможности, самые минимальные изменения в код программы по распознаванию 
цифр из набора “ММ$Т”. 

Подключаем необходимые библиотеки и загружаем тренировочные данные: 


пирог патру аѕ пр 

# библиотека для вывода на консоль массивов 

пирог таѓріоШЫ.рурІої 

# убедитесь, что участки находятся внутри этой записной книжки, а не внешнего окна 
Фтафрю И ше 

#рІ.ѕһох() # Вместо та фо шпе в других средах, не поебоок 
Кот бте ппрой біте, $еер #Для замера времени выполнения функций 
Кот ат пирог ат #Для вывода прогресса вычисления функций 

# ојоб помогает выбрать несколько файлов, используя шаблоны 
ппрой ојоБ 

# помощник для загрузки данных из файлов изображений РМС 

ппрой ѕсіру.тіѕс 


# Загрузить 11115 тренировочные данные в формате СЗУ 

паште_Ааа_Ре = ореп("ММ$Т_даазе/ тли _гат.сзу", 'г)#'г – открываем файл для чтения 

паште_Ааба_15( = (таїпіпо даѓќа Ёе.геааіпеѕ() # геайіпеѕ() — читает все строки в файле в 
переменную Нашие_4ава_ [151 

ігаіпіпо_ даѓќа #е.сІоѕе() # закрываем фаел сѕу 


Инициализируем параметры сети в классе: 


# Определение класса нейронной сети 
сІаѕ5 пеигоп_МеЕ 


# Инициализация весов нейронной сети 

аеҒ ши (зе, шриё пит, һ1адеп пит, оџшіри пит, Јеагпіпогаќѓе): #констр.(входной слой, 
скрытый слой, выходной слой) 

#РАЗМЕРНОСТЬ ВХОДНОГО МАССИВА И ПАРАМЕТРЫ ЯДЕР СВЕРТКИ 

зеЁ.т = 28 #Размер входного массива(ДхШ) 

зеЁ.К = 5 #Размер ядра (ДхШ) 

ѕеі т К 1 = (ѕе.т-ѕеі к)+1 #Размер карты свойств скрытого слоя (ДхШ) 

ѕеЁ. т К = ѕеІ т-ѕе.К 

ѕеіЕ.5(0К у = 9 #Число ядер свертки 

ѕеІЕ.506_№ = ѕе.К*ѕе. К #Количество элементов 1го ядра свертки 

ѕеї т К 5б = ѕе.510К уе т К 1*ѕе т К 1 #Общее кол-во элементов скрытого слоя 

ѕе х1 = пр.тегоѕ(($еі.ѕок_ у, ѕеЕ т К 1, зе. т К 1)) # Массив скрытого слоя 


#Для вывода карт свойст скрытого слоя 
зе. Шааеп оџиѓриќѕ_ таве = пр.тегоѕ((ѕ5еі .ѕ5їок у, ѕеЕ т К 1, зе т К 1)) 


# МАТРИЦЫ ВЕСОВ 
ѕеҒ.ууеіоһѕ = пр.гапаот.погта(0.0, ром(ѕеі.ѕїоЬ х, -0.5), (ѕе. 5(0к ху, зеР.К, зе .К)) 
зеЁ.\уе1ю {5 ои = пр.гапаот.погта[к0.0, ром(шааеп пит, -0.5), (оџіри пит, ША4еп_пит)) 


# скорость обучения 
ѕеІЕ.1с = Іеагпіпогаќѓе 


# функция активации-функция сигмоида 
ѕе .асбуапоп_ Ёипсбоп = ІатбЬаа х: ѕсіру.ѕресіаі.ехрі(х) 


раѕѕ 


Для минимизации ошибок при обучении используем вычисление сигмоидальной функции из 
библиотеки “ѕсіру” — “ІатЫаа х: ѕсіру.ѕресіаІ.ехрі(х)”. 


Создаем метод обучения сети: 


# обучение нейронной сети 

ЧеЁ (гаіп(ѕеЈҒ, іприќѕ_ |15, ѓагоеіѕ_ 51): # принемает входной список данных, (агое $ ответы 
# Преобразовать список входов в 20 массив 

приіѕ х = пр.атау(три 1іѕі.геѕћаре(ѕеіЁ т , ѕеіёт)) # матрица числа 

# Преобразовать список ответов в вертикальный массив. .Т — транспонирование 
Гагоеіѕ Ү = пр.аггау(ќагоеіѕ 1151, патш=2).Т # матрица ответов какое это число 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ ПО СЛОЯМ 

# Вычислить сигналы в скрытом слое (карты сигналов скрытого слоя). СВЁРТКА! 
{ог $ ш гапое(зеН. 5(0К №): 

ог һ ір гапое(ѕеі т К 1): 

ог № ш гапое(ѕеі т К. 1): 

ѕе.х1[5,,№] = пр.зат (три х[һ:ћ+ѕе1Е. К, уљу+ѕеі. К] * зе. уе [5]) 


# вычислить сигналы, возникающие из скрытого слоя. сигмоида(сигнал скр.слоя) 
#у1 = 1/(1+пр.ехр(-зе[.х1)) 
УІ = зеР.асйуано п_Рапсйоп(зе1Е.х 1) 


# вычислить сигналы в окончательный выходной слой (матрица сигналов выходного слоя) 

х2 = пр.40(зе\е1еВ 5 ош, пр.аггау(у1.Паќеп(), патш=2).Т) # сигнал вых.слоя. у1.Найеп() — 
преобразование карт скрытого слоя в вертикальный массив (5184 элемента) 

# вычислить сигналы, исходящие из конечного выходного слоя. сигмоида(Хои ри — сигнал 
вых.слоя) 

#у2 = (1+пр.ехр(-х2)) 

у2 = зеР.асйуано п_Рапсйоп(х2) 


# ВЫЧИСЛЕНИЕ ОШИБКИ ПО СЛОЯМ 

# ошибка выходного слоя является (цель — фактическое) 

Е = -(агоез_У – у2) 

# Ошибка скрытого слоя 

Е Һайеп = пр.докКзе.мею0 5 оо Т, Е) 

Е Б9а9деп = Е Һайеп.геѕһаре(ѕеІ.ѕќок үу, ѕеіЁт К_1, зеКли_К_1) # Преобразуем в ЗО массив 


# ОБНОВЛЕНИЕ ВЕСОВ ПО СЛОЯМ 


Я Меняем веса исходящие из скрытого слоя по каждой связи 
зе. \е126$_оиё -= зеН.ш * пр.4оК(Е * у2 * (1.0 – у2)), пр.аапзрозе(пр.аггау(у1.Пайеп(), 
патіп=2).Т)) 


# Меняем веса ядер свертки исходящие из входного слоя 
{ог $ іп гапое(ѕе.${оК №) 
ог В ір гапое(ѕеі. К): 
ог ұу ш гапое(зе Н.К): 
#Сохраняем область входных данных в отдельную область 
шри_ = шриб _х[:5-+$еЁ. т К 1, мм+ѕеі т К 1] 
# Переворачиваем отдельную область входных данныхна 180 
приќѕ е = пр.Иркаприв 0 
11риќѕ Е = пр.ћроа(при(ѕ 0 
# Обновляем веса 
зеЁ.\уею[ {5 [5, В, ҹу] -= пр.5шт(Е Њааеп[ѕ] * 10риќѕ_ ё * зе 6.1) 


ЯЗапоминаем карту свойст скрытого слоя для просмотра 
зе[.А4еп_ои ри _ппазе =у1 


раѕѕ 


Изменений, по сравнению с полносвязной сетью, как видите не много. Добавилась операция 
свёртки с использованием срезов (алгоритм мы вывели ранее) — “еЇЁх1[5,һ,№] = 
пр.зит( три _х[В 6-зе.К, \ум+зе.К] * зе. мею [$ |)”. 

При вычислении сигналов выходного слоя — “х2 = пр.4о(зе. \уе1е 5 ош, пр.аггау(у1.Найепт(), 
пітіп=2).Т)”, карту признаков “ у1”, трансформируем в одномерный вертикальный массив – “ 
пр.аггау(у1.Паќеп(), патш=2).Т”. 

Для вычисления сигмоидальной функции активации, пользуемся библиотекой “ѕсіру” (у1 = 
ѕе асйуайоп РапсНоп(зе.х1) и у2 = зеФ.асйуаНоп ипсйоп(х2)). 

Еще одно заметное изменение лежит в области обновления весов. Здесь, обновление весовых 
коэффициентов ядер свёртки, производится по алгоритму, который мы изучили чуть ранее. 

Далее, следует метод прогона собственных значений через обученную сеть, после чего 
вбиваем необходимые параметры и передаем их для инициализации: 


# МЕТОД ПРОГОНА СВОИХ ЗНАЧЕНИЙ ПО СЕТИ 

# запросить нейронную сеть 

аеғ диету (5е К, шриз_1$0: # Функция прогонки по слоям своих данных. Принемает свой набор 
тестовых данных 

# Преобразовать список входов в 2) массив 

при х = пр.атау(три _15.гезВаре(5е т , ѕеіЁт)) # матрица числа 

# Вычислить сигналы в скрытом слое (карты сигналов скрытого слоя). СВЁРТКА! 

Гог $ ш гапое(зе[. юК_\\): 

Гог В ш гапзе(зет_К_1): 

Гог № ш гапое(ѕеі т К 1): 

ѕе.х1[5,һ,№] = пр.зит (три _х[:В+5е.К, \м-зеШ.К] * зе. уе ($ [$] ) 


# вычислить сигналы, возникающие из скрытого слоя. сигмоида(сигнал скр.слоя) 
#у1 = 1/(1+пр.ехр(-зе[.х1)) 
УІ = ѕеі.асбуабоп Ёопсбоп(ѕе1Ё. х1) 


# вычислить сигналы в окончательный выходной слой (матрица сигналов выходного слоя) 

х2 = пр.ӣоќ((ѕеЇЁ.ууеіоћіѕ ош, пр.аггау(у1.Паќеп(), патіп=2).Т) # сигнал вых.слоя. у1.Паќеп() — 
преобразование карт скрытого слояв вертикальный масив (5184 элемента) 

# вычислить сигналы, исходящие из конечного выходного слоя. сигмоида(Хоиќриѕ – сигнал 
вых.слоя) 

#у2 = Џ(1+пр.ехр(-х2)) 

у2 = зеР.асйуаНо п_апсйоп(х2) 


геішт у2 


# количество входных, скрытых и выходных узлов 
ааѓа іприѓ = 784 

ааќа №айеп = 5184 

ааѓа ошри = 10 


# скорость обучения 
Іеагпіпогаѓќе = 0.05 


# Создать экземпляр нейронной сети 
п = пеогоп_Ме(даа_триь Ӣаѓќа Һайеп, йаѓа оџѓриг, Іеагпіпогаѓе) 


Значение — “5184” скрытого слоя, получается как произведения разрешений одной карты на 
их количество. Соответственно — ((т-К+1)*(т-К+1))*9=((28-5+1)*(28-5-1))*9 = 24*24*9=5184. 


Затем, следует цикл обучения, здесь тоже ничего нового: 


# ОБУЧЕНИЕ 
Я Зададим количество эпох 
еросВ$ = 5 


(ап = ите() 


# Прогон по обучающей выборке 

{ог е ш гапое(еросћ): 

# Пройдите все записи в наборе тренировочных данных 

#от гесога іп (гаіпіпе даќа_ 115: 

ог 1 ш іҷат(ігаіпіпо ааѓа 1151, Ӣеѕс = ѕ$0(е+1)): # а4т — используем интерактив состояния 
прогресса вычисления 

# Получить входные данные числа 

а] уајџеѕ = 1.5рі(',) # зрМС,') – раздел строку на символы где запятая 

# Массив данных входа с масштабированием от 0,01 до 0,99 

іприќѕ х = (пр.аѕҒагтау(а11 уајиеѕ[1:])/ 255.0 * 0.99) + 0.01 # Игнорируем нулевой индекс, где 
целевое значение 


ин 


‚ символ разделения 


# Получить целевое значение У, (ответ - какое это число) 
{агое5 Ү = шКа| уаез[0]) # перевод символов в Ш 0 элемент — целевое значение 


# создать целевые выходные значения (все 0.01, кроме нужной метки, которая равна 0.99) 
Гагое(ѕ_Ү = пр.7его$(дайа_оифрий + 0.01 


# Получить целевое значение У, (ответ — какое это число). а] уаез[0] — целевая метка для 
этой записи 
(агое _У[пКаП_уааез[0])] = 0.99 


п.ігаіп(1приќѕ_х, {агоез_У) # наш метод тат — обучение нейронной сети 


раѕѕ 
раѕѕ 


ште ошё = шпе() — “аи 
ргііп("Время выполнения: ", бте ош, " сек" 


Загружаем тестовые данные и производим оценку качества сети: 


# Загрузить СЗУ-файл данных теста 111151 в список 

еѕі_даѓа Ве = ореп("тппіѕ(_даѓаѕеі/тіѕ(_(еѕі.сѕу", 'т) #'г — файл для чтения, а не для записи. 

еѕі_ дага 131 = іеѕі Ӣаѓа #е.геааіпеѕ() # геааіпеѕ() — читает все строки в файле в переменную 
еѕі ааа 151 

іеѕі дага ВІе.сІоѕе() # закрываем фаел сѕу 


# ПРОВЕРКА ЭФФЕКТИВНОСТИ НЕЙРОННОЙ СЕТИ 
# Массив показателей эффективности сети, изначально пустой 
еЁйслепсу = [] 


# Прогон по всем записям в наборе тестовых данных 

Югтш (еѕї ааѓа 1: 

# Получить входные данные числа 

а] уајџеѕ = 1.5рі(',) # зрМС,') – раздел строку на символы где запятая "," символ разделения 

# Правильный ответ, хранимый в нулевом индексе 

Гагоеіѕ_Ү = 10411 уаІоеѕ[0]) 

# Массив данных входа с масштабированием от 0,01 до 0,99 

шриз_х = (пр.аѕѓатау(а1 уаіиеѕ[1:]) / 255.0 * 0.99) + 0.01 # Игнорируем нулевой индекс, где 
целевое значение 


# Запросить ответ у сети 

оџёриќѕ у = п.ацегу(три в х) # Прогон по сети тестового значения из нашего файла 

# Индекс самого высокого значения на матрице выхода, соответствует метке числа 

Іабе1 у = пр.аготах(оџіршѕ у) # аготах возвращает индекс максимального элемента в 
выходном массиве 


# Добавить правильный или неправильный список 

И абе] у == (агоеіѕ_Ү): # Если индекс макс. знач. на выходе = целевому значению (0 индекс 
массива данных) 

# Если ответ сети соответствует целевому значению, добавляем | в конец массива 
показателей эффективности 

еРИслепсу.аррепа(1) 

ебе: 

# Если ответ сети не соответствует целевому значению, добавляем 0 в конец массива 
показателей эффективности 

еРИслепсу.аррепа(0) 


раѕѕ 
раѕѕ 


# Вычислить оценку производительности. Доля правильных ответов 
еҝсіепсу тар = пр.аѕаггау(еЁћсіепсу) # аѕаггау — преобразование списка в массив 


рип ('Производительность = ', (еЁћсіепсу тар.ѕит() / еЁйслепсу тар.ѕ51ле)* 100, '%"') # Среднее 
арифметическое 


У меня вышло: 
Производительность = 88.16 % 


Меньше чем сеть с полносвязными слоями, но как я уже говорил, добиться хороших 
результатов от сети с одним свёрточным и одним полносвязным слоем вряд ли удастся. А 
экономить на их количестве вынужденная мера, по причине экономии вычислительных ресурсов, 
впрочем, об этом мы тоже уже говорили. Главное, что наши алгоритмы работают! 

Давайте загрузим собственные данные изображений и посмотрим, как хорошо сеть 
справляется с таким тестом: 


# СОБСТВЕННЫЙ НАБОР ИЗОБРАЖЕНИЙ ДЛЯ ТЕСТА 
ту_4абазе = [| # Для хранения данных и целевых значений 


# Загрузить данные изображения в формате РМС, как установить тестовые данные 

юг ітаре Ме іп 2106.>105(ту_ппазе/_ту_?.рп'): # проход по файлам изобр. в папке 
ту_ипасе$ 

#106 — из библиотеки 2]0Ъ, помогает выбрать сразу несколько файлов из папки 


Я Метка имени числа 
ІаБе] у = шКитазе_Ше[-5:-4]) # хранит число в файле ?.рпе, -5 это ответ какое число '?' 
# от -5 до -4 это будет символ '', т.е метка числа 


# Загрузить данные изображения из рис файлов в массив 
ргіпё ('Имя файла: ', таре #1е) # вывод пути и имени открытого файла 


ппаре 115 = ѕсіру. тіѕс.птгеай(1птаре #е, Найепт=Ттгае) #“Найет=Тгие” (“выровнять=Тгае) ~ 
превращает 
#изображения в простой массив чисел с плавающей запятой 


# Изменить формат из 28х28 в список 784 значений, инвертировать значения 
ппасе ааѓа = 255.0 — ппасе 115.геѕһаре(784) #преобразует массив из квадрата 28х28 в длинный 
список значений 


#вычитание значений массива из 255.0. т.к обычно '0' означает черное, а '255' означает белое, 
но набор данных ММІЅТ 
#имеет инверсные значения, поэтому мы должны их перевернуть 


# Вносим данные шкалу с диапазоном от 0 до 1 
ппасе_Чава = (таре Дай / 255.0 ) # массив данных входа с масштабированием от 0 до 1 


# Добавить метку числа и данные изображения к общему набору данных 
ту_4аа = пр.аррепа(1аБе] у, таре ааѓа) 

ту ааѓаѕеѓ.аррепа(ту_даѓа) 

раѕѕ 


# ПРОВЕРКА СЕТИ НА СОБСТВЕННЫХ ДАННЫХ ИЗОБРАЖЕНИЙ 
# запись для тестирования 
гоот_сһоісеѕ = 8 


# Изображение участка 

тар ю.рур/ю(. ппзВо\(ту_Ааазе[тоот_сво1сез][1:].гезВаре(28,28), стар='Отеуз', 
шегроайоп="М пе”) 

# ту Яаѓаѕеі– наш собственный набор тестовых данных 


# Правильный ответ в нулевом столбце 
соттес{ 1аБе] = ту Яаѓаѕе{[гоот сво1сез][0] # в строках номер файла из папки собственных 
данных, 0 толбец — ответ какое число 


Я Входные значения 
шриё х = ту Яаѓаѕе{гоот сһоісеѕ][1:] # значение числа без ответа 


# Запросить сеть 
ошри у = п.доегу(триш х) # прогоняем тестовую выборку по сети 
ргіпё (ори у) # вывод по выходу сети 


рип Минимальное значение: ', пр.тп(оџёриќ у)) # вывод мин знач элемента на выходе 
ргіп' Максимальное значение: ', пр.тах(оџри у)) # вывод макс знач элемента на выходе 


# Индекс самого высокого значения на выходе сети, соответствует метке 
питбег = пр.аготах(оири_у) 
рип‘\пЦелевое значение: ', питбег) 


# Вывод правильный или неправильный ответ 

Е (патбег == сотесі Іабе]): # если макс знач на выходе 1абе] = ответу (0 индекс из массива) 
сотгесі ЛаБе] 

ріп ("Угадал!!! :-)))) 

е[ѕе: 


ргіпі ("Не угадал! :-(((') 
раѕѕ 


После чего визуализируем значения в ядрах: 


# Данные изображения в ядрах свертки 

# получить данные изображения с индексом "0". Для крупного масштаба. 
паре _у1 = п.меећ [0] 

# вывод данных изображения участка с индексом "0". 

таѓріоЬ.руріІоѓ. птѕһом(птасе у1, стар='Отеуз', іпѓегроіайоп= №опе") 


бо = тафюШЬ.рурюЯхиге( $ 12е=(10,6)) 

{ог ] ш гапое(9): 

ах = ћо.ааа ѕиЬріо((3, 3, ј+1) 
ах.1тѕһом(п.ме1оһ |], 
стар=таіріо@6.ст.біпагу, іпіегројайоп= попе") 
таѓріоЬ.рурІоѓ.хосКѕ(пр.аггау([])) 
таѓріоЬ.рурІоѓ.убскѕ(пр.аггау([])) 
таѓріоЫ.руріІоё.$һоҹ() 


Результат данного участка кода: 


Первое изображение визуализирует ядро с индексом “0” крупным планом. Затем, следует 
изображения всех ядер в сети, с индексами от “0” до “8”. 

Для вывода подобной визуализации необходимо создать массив координатных сеток. С 
помощью функции — “бе.айа забрю(З, 3, ј+1)”, мы создаем такой массив, где значения 
аргумента — разрешение одной сетки по вертикали, разрешение сетки по горизонтали, 
количество координатных сеток. 

Видим, что на первом и единственном в данном случае слое свёртки, в фильтрах 
активизируются простые свойства, а именно наклонные границы, вертикальные и 
горизонтальные прямые. 

Теперь посмотрим, что твориться в картах скрытого слоя: 

# Данные изображения в признаках(в сврточном слое) 

# получить данные изображения с индексом "0". Для крупного масштаба. 

ппасе_у1 = п.М94еп_оири _ппазе[0] # Карта запомнила последний тренировочный пример 
при обучении сети! 

# вывод данных изображения участка с индексом "0". 

таѓріоЬ.руріІоѓ. птѕһом(птасе у1, стар='Отеуз', іпѓегроіайоп= №опе") 


бо = тафюШЬ.рурю.Яхиге( 5$ 12е=(10,6)) 

{ог ј ш гапое(9): 

ах = ће.ааа ѕибрі1о((3, 3, ј+1) 
ах.1тѕһом(п.Һааеп оориѕ_ітаре[)], 
стар=таіріо@6.ст.біпагу, іпіегројайоп= попе”) 
тафрюШЬ.рурю1.хисК$(пр.аггау([])) 
тафрюШЬ.рурю.уйсК$(пр.аггау([])) 
таѓріоЫ.руріІоё.$һоҹ() 


На некоторых картах мы видим силуэт, напоминающий цифру “8”. Дело в том, что значения 
карт, с помощью переменной “В1А4еп_ ори _ ітаре”, хранят в себе результаты после свёртки 
последнего тренировочного значения (если открыть файл пі таш.сзу, то можно убедиться, 
что крайним его значением будет цифра 8). 

Полный код программы: 

троі патру аѕ пр 

# библиотека для вывода на консоль массивов 

1тротї таѓріоШЫ.рурІої 

# убедитесь, что участки находятся внутри этой записной книжки, а не внешнего окна 

Фтафрю И ше 

#рЕ.зВо\() # Вместо %тафрю И іпіпе в других средах, не поебоок 

Кот бте ппрой бте, 51еер #Для замера времени выполнения функций 

Кот ёт ппрой іт #Для вывода прогрессавычисления функций 

# ојоб помогает выбрать несколько файлов, используя шаблоны 

ппрой ојоБ 

# помощник для загрузки данных из файлов изображений РМО 

ппрой ѕсіру.тіѕс 


# Загрузить 11115 тренировочные данные в формате СЗУ 

ігаіпіпо_ даѓа #е = ореп("ММ№ІЅТ_ааѓаѕе(/тп151 (гаіп.сѕу", 'т) # "Г – открываем файл для чтения 

гаїіпіпо даѓа 1150 = ігаіпіпо Ӣаѓа Ёе.геайіпеѕ() # геайіпеѕ() — читает все строки в файле в 
переменную гапе, аѓа_ [151 

ігаіпіпо_ даѓа #е.сІоѕе() # закрываем фаел сѕу 


# Определение класса нейронной сети 
с1а5$ пеигоп_ Ме: 


# Инициализация весов нейронной сети 

ае _ ши (зе! шри пит, ВА4еп пит, ошіри пит, Іеагпіпогаќе): #констр.(входной слой, 
скрытый слой, выходной слой) 

#РАЗМЕРНОСТЬ ВХОДНОГО МАССИВА И ПАРАМЕТРЫ ЯДЕР СВЕРТКИ 

зеЁ.т = 28 #Размер входного массива(ДхШ) 

ѕеіЁК = 5 #Размер ядра (ДхШ) 

зе.м_К_1 = (ѕе. т-ѕеі к)+1 #Размер карты свойств скрытого слоя (ДхШ) 

зеЁ.т_К = зе. т-зеЁ.К 

зе[.зюК_\м = 9 #Число ядер свертки 

зе. зюБ _\у = зе .К*зеЁ.К #Количество элементов 1го ядра свертки 

зе. т К 5б = зе К. зюК_\м*зеР.т_К_1*5еК.т_К_1 #Общее кол-во элементов скрытого слоя 

ѕе х1 = пр.7егоз( (зе. зюК_\у, зеЁ.т_К_1, зе. т_К_1)) #Массив скрытого слоя 


#Для вывода карт свойст скрытого слоя 
зе. мА4еп_оирив_птасе = пр.тегоѕ((ѕ5еі .5їок у, зе. т КІ, зе лм_К_1)) 


# МАТРИЦЫ ВЕСОВ 
ѕеҒ.ууеіоһѕ = пр.гапаот.погта[0.0, ром(ѕеі. ѕ%0Ь №, -0.5), (зе. 5(0Кк ху, зеР.К, зе .К)) 
зеЁ.\уе1ю {5 _оиё = пр.гапаот.погтак0.0, ром(ћааеп пишт, -0.5), (оџіри пит, ША4еп_пит)) 


# скорость обучения 
ѕеІЕ.1с = Іеагпіпогаќѓе 


# функция активации-функция сигмоида 
ѕе .асбуапоп_ Ёопсбоп = Јатбаа х: ѕсіру.ѕресіаІ.ехріх) 
раѕѕ 


# обучение нейронной сети 
ЧеЁ (гаіп(ѕеЈ, іприќѕ_ |15, ѓагоеіѕ_ 51): # принемает входной список данных, іагоеіѕ ответы 
# Преобразовать список входов в 2) массив 


шри_х = пр.атау( три _11(.геѕһаре(ѕеі т , зеЁ.п)) # матрица числа 
# Преобразовать список ответов в вертикальный массив. .Т — транспонирование 
{агое5 Ү = пр.аггау(ќагоеіѕ 1151, патш=2).Т # матрица ответов какое это число 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ ПО СЛОЯМ 

# Вычислить сигналы в скрытом слое (карты сигналов скрытого слоя). СВЁРТКА! 
{ог $ іп гапое(зеН. $(0К №): 

ог В ш гапое(ѕеіЁ т К 1): 

ог № ш гапое(ѕеі т К. 1): 

ѕе.х1[5,һ,№] = пр.зит (три _х[һ:ћ+ѕе1 Ғ.К, у№-+5е1. К] * ѕеІ уеіоһѕ[5]) 


# вычислить сигналы, возникающие из скрытого слоя. сигмоида(сигнал скр.слоя) 
#у1 = 1/(1+пр.ехр(-зе[.х1)) 
УІ = зеР.асйуано п_Рапсйоп(зе1Е.х 1) 


# вычислить сигналы в окончательный выходной слой (матрица сигналов выходного слоя) 

х2 = пр.40 (зе. ууеіоһіѕ ош, пр.агтау(у1.Паќеп(), патш=2).Т) # сигнал вых.слоя. у1.Найеп() — 
преобразование карт скрытого слоя в вертикальный массив (5184 элемента) 

# вычислить сигналы, исходящие из конечного выходного слоя. сигмоида(Хоири — сигнал 
вых.слоя) 

#у2 = Ш(1+пр.ехр(-х2)) 

у2 = зеК.асйуано п_Рапсйюоп(х2) 


# ВЫЧИСЛЕНИЕ ОШИБКИ ПО СЛОЯМ 

# ошибка выходного слоя является (цель — фактическое) 

Е = -((агоеѕ_Ү —у2) 

# Ошибка скрытого слоя 

Е Һайеп = пр.докКзе.мею0 5 оо Т, Е) 

Е Б9а9депт = Е_Ы9деп.гезваре(зеР.зюК_м, ѕе т КІ, зеЁ.т_К_1) # Преобразуем в ЗО массив 


# ОБНОВЛЕНИЕ ВЕСОВ ПО СЛОЯМ 

Я Меняем веса исходящие из скрытого слоя по каждой связи 

зе. \е1ю($_оиё -= зе * пр.ао((Е * у2 * (1.0 – у2)), пр.сапѕроѕе(пр.аггау(у1.Паќеп(), 
патіп=2).Т)) 


# Меняем веса ядер свертки исходящие из входного слоя 
Гог $ ш гапое(ѕе!іЕ.5їоК №): 

# Рог В іп гапое(ѕе!. т-(ѕеі Е.т К 1)+1): 

ог һ ір гапое(ѕеі. К): 

# Рог у ш гапое(ѕеіҒ. т-(ѕеі т К 1)+ 1): 

{ог № ір гапее(5е Г.К): 

#Сохраняем область входных данных в отдельную область 
ри = іприќѕ х[һ+ѕеі Ё. т К 1, име. т К 1] 


# Переворачиваем отдельную область входных данныхна 180 
шрив_( = пр.Иркаприв 0 

шрив_( = пр.Йриа(при_0 

# Обновляем веса 

зеЁ.\уеюН {5 [5, В, ҹу] -= пр.5шт(Е Њааеп[ѕ] * 10риќѕ_ ё * зе 6.1) 


ЯЗапоминаем карту свойст скрытого слоя для просмотра 
зе[.А4еп_оч ри _птасе =у1 
раѕѕ 


# МЕТОД ПРОГОНА СВОИХ ЗНАЧЕНИЙ ПО СЕТИ 

# запросить нейронную сеть 

аеғ диету (5е №, іприќѕ_ 1150): # Функция прогонки по слоям своих данных. Принемает свой набор 
тестовых данных 

# Преобразовать список входов в 2) массив 

при х = пр.атау(три 115.геѕһаре(ѕеЁ т , ѕеіЁт)) # матрица числа 

# Вычислить сигналы в скрытом слое (карты сигналов скрытого слоя). СВЁРТКА! 

Гог $ ш гапое(ѕе!іЕ.5{оК №): 

ог һ ір гапое(ѕеі т К 1): 

ог № ір гапое(ѕеі т К. 1): 

ѕе.х1[5,һ,№] = пр.ѕ5шт(1приѕ_х[ћ:ћ+ѕе1Е.К, уле. К] * зе. ме [$]) 


# вычислить сигналы, возникающие из скрытого слоя. сигмоида(сигнал скр.слоя) 
#у1 = 1/(1+пр.ехр(-зе[.х1)) 
УІ = ѕеі.асбуайоп Ёопсбоп(ѕе1Ё. х1) 


# вычислить сигналы в окончательный выходной слой (матрица сигналов выходного слоя) 

х2 = пр.ӣо(ѕеІЕ ууеіоһіѕ ош, пр.агтгау(у1.Паќеп(), патш=2).Т) # сигнал вых.слоя. у1.Ёаќеп() – 
преобразование карт скрытого слояв вертикальный масив (5184 элемента) 

# вычислить сигналы, исходящие из конечного выходного слоя. сигмоида(Хоџёриёѕ — сигнал 
вых.слоя) 

#у2 = (1+пр.ехр(-х2)) 

у2 = зеР.асйуаНо п_Рапсйюоп(х2) 

теги у2 


Я количество входных, скрытых и выходных узлов 
ааѓа іприѓ = 784 

ааќа Њааеп = 5184 

ааѓа ошри = 10 


# скорость обучения 
Іеагпіпогаќе = 0.05 


Я Создать экземпляр нейронной сети 
п = пеогоп_Ме(даа_ три даѓќа Һайеп, даѓа оџиёриг, Іеагпіпогаѓе) 


# ОБУЧЕНИЕ 
# Зададим количество эпох 
еросһѕ = 5 


(ап = ите() 

# Прогон по обучающей выборке 

Юге іп гапое(еросћз): 

# Пройдите все записи в наборе тренировочных данных 

# от гесога іп (гаіпіпе даќа_ 115: 

ог 1 ш ічат(ігаіпіпо ааѓа |151, Чезс = 50(е+1)): # ат — используем интерактив состояния 
прогресса вычисления 

# Получить входные данные числа 

а] уајџеѕ = 1.3рШ(',') # зрМС,') — раздел строку на символы где запятая 

# Массив данных входа с масштабированием от 0,01 до 0,99 

три _х = (пр.а5Ратау(а уајиеѕ[1:])/ 255.0 * 0.99) + 0.01 # Игнорируем нулевой индекс, где 
целевое значение 


ии 


‚ символ разделения 


# Получить целевое значение У, (ответ — какое это число) 
{агое5 Ү = шКа| уаез[0]) # перевод символов в Ш 0 элемент — целевое значение 


# создать целевые выходные значения (все 0.01, кроме нужной метки, которая равна 0.99) 
Гагое(ѕ_Ү = пр.тегоз$(дайа_оифрий + 0.01 


# Получить целевое значение У, (ответ — какое это число). а] уаез[0] — целевая метка для 
этой записи 
(агое5 _У[пКаП_уаез$[0])] = 0.99 


п.(гаіп(1приќѕ_х, {агоез_У) # наш метод тат — обучение нейронной сети 
раѕѕ 
раѕѕ 


ште ош = штпе() — “аи 
рііп{"Время выполнения: ", бте ош, " сек" 


# Загрузить СЗУ-файл данных теста 111151 в список 

(е5(_Чаа_Не = орет("ттпіѕ(_даѓаѕеі/тіѕ(_(еѕі.сЅу", т) #'г — файл для чтения, а не для записи. 

{е5(_Чаа_ 131 = (ез_4аа_ЕПе.теад Ппез() # геай1іпеѕ() — читает все строки в файле в переменную 
(е5 Чаба_1$( 

еѕі_ дага Віе.сІоѕе() # закрываем фаел сѕу 


# ПРОВЕРКА ЭФФЕКТИВНОСТИ НЕЙРОННОЙ СЕТИ 
# Массив показателей эффективности сети, изначально пустой 
еЁсіепсу = [] 


# Прогон по всем записям в наборе тестовых данных 

Ѓог1 ір (еѕї аӢаѓа |15: 

# Получить входные данные числа 

а] уаіџеѕ = 1.5рі(",) # 5рі',) — раздел строку на символы где запятая 

# Правильный ответ, хранимый в нулевом индексе 

Гагоеіѕ_Ү = 10411 уаІоеѕ[0]) 

# Массив данных входа с масштабированием от 0,01 до 0,99 

три _х = (пр.аѕѓатгау(а] уаіиеѕ[1:]) / 255.0 * 0.99) + 0.01 # Игнорируем нулевой индекс, где 
целевое значение 


ин 


‚ символ разделения 


Я Запросить ответ у сети 

оири у = п.ацегу(три в х) # Прогон по сети тестового значения из нашего файла 

# Индекс самого высокого значения на матрице выхода, соответствует метке числа 

1абе| у = пр.аготах(оџіршѕ у) # аготах возвращает индекс максимального элемента в 
выходном массиве 


# Добавить правильный или неправильный список 

И абе[ у == ‘агоев _У): # Если индекс макс. знач. на выходе = целевому значению (0 индекс 
массива данных) 

# Если ответ сети соответствует целевому значению, добавляем | в конец массива 
показателей эффективности 

еЁћсіепсу.аррепа(1) 

ебе: 

# Если ответ сети не соответствует целевому значению, добавляем 0 в конец массива 
показателей эффективности 

еЁРИслепсу.аррепа(0) 

раѕѕ 

раѕѕ 


# Вычислить оценку производительности. Доля правильных ответов 
еҝсіепсу тар = пр.аѕаггау(еЁћсіепсу) # аѕаггау — преобразование списка в массив 


рип ('Производительность = ', (еЁісіепсу тар.ѕшт() / еЁЯслепсу тар.51ие)*100, '%') # Среднее 
арифметическое 


# СОБСТВЕННЫЙ НАБОР ИЗОБРАЖЕНИЙ ДЛЯ ТЕСТА 
ту_4абазей = [| # Для хранения данных и целевых значений 


# Загрузить данные изображения в формате РМС, как установить тестовые данные 

юг ітаре Ме іп 216.205 (ту_ипазе/_ту_?.рпз'): # проход по файлам изобр. в папке 
ту_ипасе$ 

#ојоб — из библиотеки 2]0Ъ, помогает выбрать сразу несколько файлов из папки 


Я Метка имени числа 
1аБе! у = шКитазе_Ше[-5:-4]) # хранит число в файле ?.рпо, -5 это ответ какое число ''?' 
# от -5 до -4 это будет символ '', т.е метка числа 


# Загрузить данные изображения из рис файлов в массив 
ргіпё ('Имя файла: ', таре #1е) # вывод пути и имени открытого файла 


паве 115 = ѕсіру. тіѕс.ітгеай(тасе е, Паќеп=Тгие) #“аќеп=Тгџе” (“выровнять=Тгае) ”— 
превращает 
#изображения в простой массив чисел с плавающей запятой 


# Изменить формат из 28х28 в список 784 значений, инвертировать значения 

паве ааѓа = 255.0 — птазе_1151.гезВаре(784) #преобразует массив из квадрата 28х28 в длинный 
список значений 

#вычитание значений массива из 255.0. т.к обычно '0' означает черное, а '255' означает белое, 
но набор данных ММ$Т 

#имеет инверсные значения, поэтому мы должны их перевернуть 


# Вносим данные шкалу с диапазоном от 0 до 1 
пасе Даёа = (птаре Паѓа / 255.0 ) # массив данных входа с масштабированием от 0 до 1 


# Добавить метку числа и данные изображения к общему набору данных 
ту_4аа = пр.аррепа(1аБе] у, таре ааѓа) 
ту ааѓаѕеѓ.аррепа(ту_даѓа) 


раѕѕ 


# ПРОВЕРКА СЕТИ НА СОБСТВЕННЫХ ДАННЫХ ИЗОБРАЖЕНИЙ 
Я запись для тестирования 
гоот сһо1сеѕ = 8 


# Изображение участка 

пар ю.рур/0(. ппзВо\(ту_4аазе[тоот_сво1сез][1:].гезВаре(28,28), стар='Отеуз', 
шегроайоп="М пе”) 

# ту ааѓаѕеі– наш собственный набор тестовых данных 


# Правильный ответ в нулевом столбце 
сотгесі 1аБе] = ту Яаѓаѕе{гоот сһоісеѕ][0] # в строках номер файла из папки собственных 
данных, 0 толбец — ответ какое число 


Я Входные значения 
шриё х = ту _Чаазетгоот сһоісеѕ][1:] # значение числа без ответа 


# Запросить сеть 
оџриќ у = п.доегу(іпрш х) # прогоняем тестовую выборку по сети 
ргіпё (ори у) # вывод по выходу сети 


ріп Минимальное значение: ', пр.тіп(оџёриќ у)) # вывод мин знач элемента на выходе 
ргіп' Максимальное значение: ', пр.тах(оџри у)) # вывод макс знач элемента на выходе 


# Индекс самого высокого значения на выходе сети, соответствует метке 
питбег = пр.аготах(оџри у) 
рип‘\пЦелевое значение: ', питбег) 


Я Вывод правильный или неправильный ответ 

Е (патбег == сотесі Іабе]): # если макс знач на выходе 1абе| = ответу (0 индекс из массива) 
сотгесі ЛаБе] 

ріп ("Угадал!!! :-)))) 

е[ѕе: 

рпі ("Не угадал! :-(((') 


раѕѕ 


# Данные изображения в ядрах свертки 

# получить данные изображения с индексом "0". Для крупного масштаба. 
ппасе_у1 = п.меоћіѕ [0] 

# вывод данных изображения участка с индексом "0". 

тафю.рурю(. ппзво\/(итазе_у1, стар='Отеуз', Іпіегроіабоп='№опе") 


бо = тафюШЬ.рурю.Ихиге( 1$ 12е=(10,6)) 

Гог ] іп гапое(9): 

ах = ћо.ааа ѕиЬріо((3, 3, ]+1) 
ах.1тѕһом(п.уеіоћһіѕ [], 
стар=таіріо6.ст.біпагу, іпіегројабйоп= попе") 
тафюШ.рурю.хисК$(пр.аггау([])) 

тафю Ш .рурю.уйсК$(пр.аггау([])) 
тафю.рурю(.$Во\() 


# Данные изображения в признаках(в сврточном слое) 

# получить данные изображения с индексом "0". Для крупного масштаба. 

ппасе у1 = п.МА4еп ошри6 паре[0] # Карта запомнила последний тренировочный пример 
при обучении сети! 

# вывод данных изображения участка с индексом "0". 

тафю.рурю(. пазво\(итазе_у1, стар='Стеуѕ', пеегроайоп="Мопе”) 


бо = тафюШЬ.рурю.Яхиге( 1$ 12е=(10,6)) 
Юг] іп гапое(9): 

ах = ће.ааа ѕибріо((3, 3, +1) 
ах.1тѕһом(п.һ1ааеп ошрибѕ_ ітаре|[ј], 
стар=таіріо@6.ст.біпагу, іпіегројайоп= попе”) 
тафюШ.рурю.хисК$(пр.аггау([])) 
тафюШ.рурю.уйсК$(пр.аггау([])) 
тафю.рурю(.$Во\() 


Скачать коды программ можно по следующей ссылке: 
Брз Ио .сот/СашаСап/пеигаптаз ег 
Реализация сети с двумя свёрточными слоями 

Осталось проверить еще один алгоритм, который мы разобрали ранее — обратное 
распространение ошибки в свёрточном слое. Для этого создадим бессмысленный с точки зрения 
эффективности, а даже ухудшающий её, входной слой с одним ядром свертки (одно ядро — более 
наглядно и экономит вычислительные ресурсы). Нам лишь важно убедиться в 
работоспособности алгоритма обратного распространения ошибки, который будет реализован 
через этот слой. Скрытых слоёв будет уже два, второй будет трансформироваться в 
полносвязный с выходным, как мы уже это делали ранее. 

Визуализируем описанную структуру сети: 


Скрытый слой Преобразование 


20х20ха 6 вертикальный 


Ядра векилор 


= Скрытый 7 = 
Входной слой Рбн СЛОЙ. аа К) 20х20х4-5600 


28х28х1 Ядро 24к2АК а 
ОО эа бо 


и Выходной 


Полносвязные Слой 
слои 10 


Запрограммируем данную структуру. За основу возьмем предыдущий код, инициализировать 
параметры ядер и скрытые слои будем прямо в теле инициализации параметров класса 
“пеигоп_ МР’, таким образом минимизируем изменения с предыдущим кодом. 

Думаю, вы уже без труда смогли разобрать все перипетии предыдущих кодов программ, 
поэтому длительные комментарии по внесению изменений в программу по сравнению с 
предыдущей, будут излишни. Поэтому можно сразу дать полный текст кода программы: 


птроге питру аз пр 

# библиотека для вывода на консоль массивов 

пирог таѓріоШЫ.рурІої 

# убедитесь, что участки находятся внутри этой записной книжки, а не внешнего окна 
Фтафрю И ше 

Яр.зНо\!() # Вместо эта рю шПпе в других средах, не поефоок 
Кот бте ітротї біте, ѕ$1еер #Для замера времени выполнения функций 
Кот ёт ппрой іт #Для вывода прогрессавычисления функций 

# ојоб помогает выбрать несколько файлов, используя шаблоны 
ппрой ојоБ 

# помощник для загрузки данных из файлов изображений РМО 

ппрой ѕсіру.тіѕс 


# Загрузить 11115 тренировочные данные в формате СЗУ 

ігаіпіпо даѓќа е = ореп("ММ№ІЅТ_ааѓаѕе/тп1ѕ{ (гаіп.сѕу", 'г)# "Г — открываем файл для чтения 

паште_Ааба_15( = (таїпіпо дӢаѓќа Ёе.геааіпеѕ() # геайіпеѕ() — читает все строки в файле в 
переменную ќгаіпіпо_ Яаѓа_ 151 

гатіпо аѓа_ Ёе.с1оѕе() # закрываем фаел сѕу 


# Определение класса нейронной сети 


с1аз$ пеигоп_ Ме: 


# инициализация нейронной сети 

ег ши (зе, шриё пит, БА4еп пит, ошіри пит, Іеагпіпогаѓе): #констр.(входной слой, 
скрытый слой, выходной слой) 

# ВХОДНЫЕ ДАННЫЕ 

зе. т = 28 #Размер входного массива(ДхШ) 

зеЁ.кК = 5 #Размер ядер (ДхШ) 

зели_К_1 = (ѕе.т-ѕеі к)+1 #Размер карты свойств скрытого слоя1 (ДхШ) 

зеЁ.т_К = ѕеІ т-ѕе.К 

зе. з1юБ _\у = зе .К*зеЁ.К #Количество элементов 1го ядра свертки 

зем_К1_1 = (ѕеғ т К 1 — зе .К)+1 #Размер карты свойств скрытого слоя2(ДхШ) 

зе. юК \1 = 9 #Число ядер свертки1 


зе.х1 = пр.7егоѕ((ѕеЁ т К 1, зем К 1)) #Скрытый слой1 
зе.х2 = пр.7егоз((зе Г. зюК_\1, ѕе т КІ 1, зе т КІ 1)) #Скрытый слой2 


#Для вывода карт свойст скрытого слоя (для их визуального просмотра) 
зе. адеп оџѓри(ѕ_ таве = пр.7егоз$((зели_К_1, зе лм_К_1)) 
зе. мА4еп_оирив_птасе1 = пр.7его$((зе!.з1юК_\м1, зеР.т_К1_1, ѕе т КІ 1)) 


# МАТРИЦЫ ВЕСОВ 

# Значения в ядре] 

зеЁ.\ею[ {5 = пр.гапдот.погта[(0.0, ром(ѕеі.ѕ5#оЬ х, -0.5), (ѕеіҒ. К, зе .К)) 

# Значения в ядрах2 

зеЁ.\/е1ю[ {52 = пр.гапаот.погтак0.0, ром(зеЕ. 506 №, -0.5), (зе. юК_\1, зе .К, зе .К)) 

зеЁ. уеіоһі2 тог 180 = зе. \уе1ю6 {$2 # Шаблон для перевернутой матрицы ядер весов2 

# Значения в весов выходного слоя 

зе. ууе1оһѕ_ ош = пр.гап4от.погта[(0.0, ром(ћіааеп пит, -0.5), (ошириш пит, ћ\йеп пит)) 
#20*20*9 


# Создадим матрицу размера ошибки! – как показано на слайде 

# Нулевая матрица размера (для помещения значений ошибок в ее центр) 

зе. адеп еггогѕ0 (іетр = пр.тегоѕ((Ѕ5е[Е.ѕќок №1, зеР.п_К_1+з$е.К-1, ѕе т К 1-5е/. К-1)) 
ѕе№.Һааеп еггогѕ0 = пр.7егоѕ(($е.5(0к №1, зе. т К 1, зе. т К 1)) 


# скорость обучения 
зеЁ.№ = Іеагпіпогаќе 


# функция активации-функция сигмоида 
ѕе .асбуапоп_ Ёипсбоп = Іатбаа х: ѕсіру.ѕрестаі.ехрі(х) 


раѕѕ 


# обучение нейронной сети 

ае? (гаіп(ѕеІ, іприќѕ__ |15, (агоеѓѕ_ |150): # принемает входной список данных, агоеіѕ ответы 
# Преобразовать список входов в 20 массив 

при х = пр.атау( три 115.геѕһаре(ѕеЁ т , ѕеіЁт)) # матрица числа 

# Преобразовать список ответов в вертикальный массив. .Т — транспонирование 
(агоеіѕ Ү = пр.аггау(ќагоеіѕ 1151, патш=2).Т # матрица ответов какое это число 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ ПО СЛОЯМ 

# вычислить сигналы в скрытом слое! (карты сигналов скрытого слоя1). СВЁРТКА! 
ог һ ір гапое(ѕеі т К 1): 

ог № ш гапое(ѕеі т К 1): 

ѕехЦћ,№] = пр.ѕит(1приѕ х[һ:ћ+ѕе1 Е.К, у№-+5е/. К] * зе уе) 


# вычислить сигналы, возникающие из скрытого слоя0. сигмоида(сигнал скр.слоя) 
УІ = ѕе.асбуабоп Ёопсбоп(ѕе1Ё. х1) 


# вычислить сигналы в скрытом слое? (карты сигналов скрытого слоя2). СВЁРТКА! 
Гог $ ш гапое(ѕеіЕ.5їоК м1): 

Гог һ ш гапое(зе.и_К1_1): 

Гог у ш гапое(зеЁ.п_К1_1): 

зеЁ.х2[$В,\| = пр.зап (у [6:6+$е.К, уе. К] * зе. мее һ52[5]) 


# вычислить сигналы, возникающие из скрытого слоя. сигмоида(сигнал скр.слоя) 
у2 = ѕе.асбуабоп Ёопсбоп(ѕе1#. х2) 


# вычислить сигналы в окончательный выходной слой (матрица сигналов выходного слоя) 

х3 = пр.ӣо(ѕеІЕ \уе1е $ ош, пр.атау(у2.Найеп(), патш=2).Т) # сигнал вых.слоя = вес скр. слоя 
* значение сигнала скр.слоя 

# вычислить сигналы, исходящие из конечного выходного слоя. сигмоида(сигнал вых.слоя) 

УЗ = зеКР.асйуаНоп_апсйоп(х3) 


# ВЫЧИСЛЕНИЕ ОШИБКИ ПО СЛОЯМ 

# ошибка выходного слоя является (цель — фактическое) 
Е = -((агоеѕ_Ү – уЗ) 

# Ошибка скрытого слоя2 

Е Һайеп = пр.ао((ѕеІ уееһіѕ_ оо Т, Е) 


Е Һайепр = Е Һааеп.геѕһаре(ѕе1Ғ.5іок №1, зе. т_К1_1, ѕе т КІ 1) # преобразование ошибки 
скрытого слоя2 в ЗО 


# Запоминаем значения перевернутых ядер весов2 

Гог $ ш гапое(ѕе!іЕ.5їоК м1): 

ѕеІЕ.муеіоһіѕ2 го 180[5] = пр.Ер (зе. \е16$2[$]) 
ѕеҒ.ууеіоһіѕ2_ гоі 180[5] = пр.Ериа(зе!. уеіоћѕ2 гоё 180[5]) 


# Поместим в центр нулевой матрицы большего размера, ошибку на предыдушем слое 

{ог $ ш гапое(зеН. $(0К №1): 

зе. Һааеп_ еггогѕ0 ёетр[5, ѕеі. К-1:ѕе1#. т КІ 1+5е1#. КК-1, ѕе.К-1:5е1#. т КІ 1+5е.к-1] = 
Е Һааеп[] 


# Проходим по этой матрице перевернутыми весами 

Гог $ ш гапое(ѕеіЕ.5їоК м1): 

Гог В ш гапзе(зет_К_1): 

Гог № ш гапее(зе.п_К_1): 

ѕеІЕ. Һааеп_еггогѕ0[5,һ,№] =  пр.зап(зеР. 1АЧеп_етгог$0_4етр[5, Һ:һ+ѕе К, \мум-+зеН.К] * 
зе. ууеіоћіѕ2 то 180[5] 

* (1 -УПЬ, м) * (уЦЬ, м])) 


# Сумма ошибки (значения храним в 1м массиве) 

Гог $ ш гапое(ѕеіЕ.5їоК м1-1): 

зе. Шааеп_ еггогѕ0[0] = зе. Шааеп еггогѕ0[5] + зеК.ЫАдеп_е1гог$0[$+1] 
# Запоминаем в отдельную переменную сумму ошибок 

Һааеп_ еггогѕ0 = ѕе. Шааеп еггогѕ0[0] 


# ОБНОВЛЕНИЕ ВЕСОВ ПО СЛОЯМ 

# Обновления весов ядер связей между скрытым и выходным слоями(скрытый слой2) 

зе. \е1ю$_оиё -= зе. * пр.ао((Е * уЗ * (1.0 – уУ3)), пр.сапѕроѕе(пр.аггау(у2.Паќеп(), 
пашш=2).Т)) 

# обновления весов связей между скрытыми слоями 

Гог $ ш гапое(зе.юК_\1): 

ог В ір гапое(ѕеі т К_1-(5е т КІ 1)+ 1): 

{ог № ір гапое(ѕеіЕ. т К. 1-($еі т КІ 1)+1): 

#Запоминаем локальную область скрытого слоя1 

шри_ = уЦЬ:ћ+ѕеІ т КІ 1, муму+ѕе т КІ 1] 

#Переворачиваем на 180 локальную область скрытого слоя1 

три Е = пр.ИркОприв_0 

шрив_( = пр.Приа(при $ 0 

#Обновляем веса скрытого слоя1 

ѕеҒ.ууеіоћ2[5, В, №] -= пр.ѕит(Е Һааеп[ѕ] * іприѕ е * зе .г) 


# Обновления весов ядра связи между скрытым и входным слоем 
ог һ ір гапое(зеР.т-(зе.т_К_1)+1): 

ог № ір гапое(ѕеіҒ. т-(ѕе1Ғ. т К 1)+1): 

#Запоминаем локальную область входных данных 

1риќѕ_ = іприѕ х[ћ+ѕе Е т К 1, мљму+ѕе т К 1] 
#Переворачиваем на 180 локальную область входных данных 
шрив_( = пр.Иркаприв 0 

шрив_( = пр.Приа(при_0 

#Обновляем веса входных данных 

зе. \уеюе $ [Ь, ү] -= пр.ѕшт(ћааеп_ еггогѕ0 * іпри(ѕ_ ё * зе.) 


#Запоминаем карту свойст скрытого слоя для их визуального просмотра 
ѕеіЕ.Шааеп ооіриѕ таре = у1 

ѕеіЕ.Һааеп оџшіриѕ _ппасе1 = у2 

раѕѕ 


# МЕТОД ПРОГОНА СВОИХ ЗНАЧЕНИЙ ПО СЕТИ 

# запросить нейронную сеть 

аеғ доегу(ѕеі, іприќѕ_1150): # Функция прогонки по слоям своих данных. Принемает свой набор 
тестовых данных 

# Преобразовать список входов в 2) массив 

при х = пр.атау(три _15.гезВаре(зе.лп_, зеЁлт)) # матрица числа 


# вычислить сигналы в скрытом слое! (карты сигналов скрытого слоя1). СВЁРТКА! 
ог һ ш гапзе(зет_К_1): 

Гог № ш гапее(зеР.п_К_1): 

зеЁ.х1[В,\] = пр.зит (три х[һ:ћ+ѕе/ Е.К, \зум--зе!.К] * зе уе) 


# вычислить сигналы, возникающие из скрытого слоя. сигмоида(сигнал скр.слоя) 
УІ = зеР.асйуаНо п_Рапсйоп($е1Е.х 1) 


# вычислить сигналы в скрытом слое? (карты сигналов скрытого слоя2). СВЁРТКА! 
Гог $ Іп гапое(ѕе!іЕ.5їоК м1): 

ог ш гапсе(ѕеі т КІ 1): 

Гог у ш гапое(ѕеЈ. т_К1_1): 

ѕеіҒ.х2[5,һ,№] = пр.зип (у [6:5+зе.К, зум-зеЕ.К] * зе. ме һ52[5]) 


# вычислить сигналы, возникающие из скрытого слоя. сигмоида(сигнал скр.слоя) 
у2 = зеР.асйуаНо п_апсйоп($е1.х2) 


# вычислить сигналы в окончательный выходной слой (матрица сигналов выходного слоя) 


х3 = пр.ӣо(ѕеЇЁ \уе1е $ ош, пр.атау(у2.Найеп(), патш=2).Т) # сигнал вых.слоя = вес скр. слоя 
* значение сигнала скр.слоя 

# вычислить сигналы, исходящие из конечного выходного слоя. сигмоида(сигнал вых.слоя) 

УЗ = зеР.асйуаНо п_Рапсйоп(х3) 


теги уЗ 


# количество входных, скрытых и выходных узлов 
ааѓа іприѓ = 784 

ааќа Њааеп = 3600 #20х20х9 

ааѓа ошри = 10 


# скорость обучения 
Іеагпіпогаќе = 0.05 


# Создать экземпляр нейронной сети 
п = пеџгоп М№е((аѓа іприќ, Ӣаѓќа Һайеп, йаѓа оџѓриї, Іеагпіпогаѓе) 


# ОБУЧЕНИЕ 
# Зададим количество эпох 
еросћѕ = 1 


аи = бте() 

# Прогон по обучающей выборке 

оге іп гапое(еросВ$): 

# Пройдите все записи в наборе тренировочных данных 

#ог гесога ш ігатіпо, даѓа 115: 

ог 1 ш ічат(ігаіпіпо ааѓа |151, аӢеѕс = ѕі(е+1)): # а4т — используем интерактив состояния 
прогресса вычисления 

# Получить входные данные числа 

а] уајџеѕ = 1.5рі(',) # зрМС,') – раздел строку на символы где запятая 

# Массив данных входа с масштабированием от 0,01 до 0,99 

іприќіѕ х = (пр.аѕҒагтау(а11 уајиеѕ[1:])/ 255.0 * 0.99) + 0.01 # Игнорируем нулевой индекс, где 
целевое значение 


ин 


‚ символ разделения 


# Получить целевое значение У, (ответ — какое это число) 
{агое5 Ү = шКа| уаез[0]) # перевод символов в Ш 0 элемент - целевое значение 


# создать целевые выходные значения (все 0.01, кроме нужной метки, которая равна 0.99) 


Гагое(ѕ_Ү = пр.тего$(даа_оифрий + 0.01 


# Получить целевое значение У, (ответ — какое это число). а] уаез[0] — целевая метка для 
этой записи 
{(агое5 _У[пКаП_уааез$[0])] = 0.99 


п.ігаіп(1приќѕ_х, {агое{з_У) # наш метод тат — обучение нейронной сети 


раѕѕ 
раѕѕ 


шпе ош = шпе() — “ай 
ргііп({"Время выполнения: ", ште ош, " сек" 


# Загрузить СЗУ-файл данных теста 1111151 в список 

еѕі_даѓа е = ореп("т1п1(_ даѓаѕеі/ттп1ѕ(_(еѕі.сѕу", т) # 'т — файл для чтения, а не для записи. 

(еѕі_даѓа 1151 = (е5 ааѓа Ғ1е.теайіпеѕ() # геай1іпеѕ() — читает все строки в файле в переменную 
еѕі ааа 151 

еѕі_ дага ВІе.сІоѕе() # закрываем фаел сѕу 


# ПРОВЕРКА ЭФФЕКТИВНОСТИ НЕЙРОННОЙ СЕТИ 
# Массив показателей эффективности сети, изначально пустой 
еЁсіепсу = [] 


# Прогон по всем записям в наборе тестовых данных 

Рог 1 Іп (еѕі ааѓа |15: 

Ѓог1 іп {ҷат(ќеѕі даѓа 150): 

# Получить входные данные числа 

а] уаіџеѕ = 1.5рі(',) # 5=рі(",) — раздел строку на символы где запятая 

# Правильный ответ, хранимый в нулевом индексе 

Гагоеіѕ_Ү = 10411 уаІоеѕ[0]) 

# Массив данных входа с масштабированием от 0,01 до 0,99 

їприќѕ х = (пр.аѕѓаттау(аї уаіиеѕ[1:]) / 255.0 * 0.99) + 0.01 # Игнорируем нулевой индекс, где 
целевое значение 


ин 


‚ символ разделения 


Я Запросить ответ у сети 
оири у = п.доегу(іприѕ х) # Прогон по сети тестового значения из нашего файла 
# Индекс самого высокого значения на матрице выхода, соответствует метке числа 


1абе] у = пр.аготах(ошфрив_у) # аготах возвращает индекс максимального элемента в 
выходном массиве 


# Добавить правильный или неправильный список 

И (абе! у == (агоеіѕ_Ү): # Если индекс макс. знач. на выходе = целевому значению (0 индекс 
массива данных) 

# Если ответ сети соответствует целевому значению, добавляем | в конец массива 
показателей эффективности 

еЁћсіепсу.аррепа(1) 

ебе: 

# Если ответ сети не соответствует целевому значению, добавляем 0 в конец массива 
показателей эффективности 

еРИслепсу.аррепа(0) 


раѕѕ 


раѕѕ 


# Вычислить оценку производительности. Доля правильных ответов 
еҝсіепсу тар = пр.аѕаггау(еЁћсіепсу) # аѕаггау — преобразование списка в массив 


рип ('Производительность = ', (еЁісіепсу тар.ѕшт() / еісіепсу тар.ѕ512е)*100, '%') # Среднее 
арифметическое 


# Данные изображения в ядрах свертки скрытого слоя2 

# получить данные изображения с индексом "0". Для крупного масштаба. 
паре _у1 = п.ме1052[0] 

# вывод данных изображения участка с индексом "0". 

тафю.рурю. ппзВо\(птазе_у1, стар='Отеуз', Іпіегроіабоп='№опе") 


бо = тафюШЬ.рурю.Ихиге( 1$ 12е=(10,6)) 

{ог ј ш гапое(9): 

ах = ћо.ааа ѕиБріо((3, 3, ј+1) 
ах.1тѕһом(п.уе1оһ52[)], 
стар=таіріо6.ст.біпагу, іпіегројабйоп= попе") 
тафю.рурю.хисК$(пр.аггау([])) 
тафюШ.рурю.уйсК$(пр.аггау([])) 
тафю.рурю1.$Во\/() 


# Данные изображения в признаках скрытого слоя2 

# получить данные изображения признака скрытого слоя2 

ппасе_о2 = п.М4еп_ои ри _ппасе1 [0] 

# данные изображения участка 

таќріоЫ.рур1Іоі.1пѕһом(ітаре 02, стар='Отеуз', Іпіегроіабоп= №опе") 


# получить данные изображения признака скрытого слоя 
Вэ = тафюШЬ.рурю.Яхиге( 1$ 12е=(10,6)) 

Гог] іп гапое(9): 

ах = ћо.ааа ѕиБріо((3, 3, ј+1) 

ах.1тѕһом(п.Һааеп оориѕ_ітарве1[], 
стар=таіріо6.ст.Біпагу, іпќіегројабйоп= попе") 
тафюШ.рурю.хисК$(пр.аггау([])) 
тафюШ.рурю.уйсК$(пр.аггау([])) 

тафю.рурю(.$Во\() 


# Данные изображения в ядрах свертки скрытого слоя] 

# получить данные изображения с индексом "0". Для крупного масштаба. 
ппасе_у] = п.мею $ 

# вывод данных изображения 

тафю.рурю. ппзво\\(итазе_у1, стар='Отеуз', Іпіегроіабоп='№опе") 


# Данные изображения в признаках скрытого слоя1 

# получить данные изображения признака скрытого слоя 

ппасе_о2 = п.ШаЯеп оџіриќѕ_ ітаре 

# данные изображения участка 

тафюШ.рурю(. ппзво\(итазе_о2, стар='Стеуѕ', Іпіегроіабоп='№опе") 
Результаты работы программы: 


Время выполнения: 3932.404888153076 сек 


Производительность = 70.76 % 


Визуализация значений нулевого ядра второго скрытого слоя и значений всех его ядер: 


0 1 2 


[80 
= 


Визуализация значений нулевой карты признаков второго скрытого слоя и значений всех 
карт: 
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Визуализация значений ядра первого скрытого слоя: 


Визуализация значений карты первого скрытого слоя: 


В этом коде я не стал тестировать сеть на собственных значениях. 

Поскольку проход одного ядра по входу, в результате чего появился дополнительный 
скрытый слой, довольно бессмысленное занятие ухудшающее итоговый результат, то 
производительность оказалась ожидаемо ниже. Хотя, если бы мы прошли не одну, а пять эпох, 
как в предыдущем коде, то производительность могла бы стать лучше. 

По программе стоит ещё отметить, что кроме инициализации скрытых слоев, 
дополнительных ядер свертки и их размерности, ключевым дополнением является алгоритм 
обратного распространения ошибки через первый свёрточный слой — “ѕеЇЁх2[5,һ,№] = 
пр.ѕшт(у1 [ћ:ћ+5е1Ё К, ууу+ѕе1 К] * зе \е1е 5 2[5])”, с последующей суммой ошибок (данный 
алгоритм был описан ранее). 

В данных примерах не ставился приоритет производительности. Главный итог для нас — 
разобраться в принципах работы и убедится в работоспособности разработанных нами ранее 
алгоритмов свёртки, обновления ядер свёртки и обратного распространения ошибки через 
свёрточный слой. Чего мы успешно добились! 


Слой макспулинга 
Этот слой позволяет выделять важные особенности на картах признаков, 
дает инвариантность к нахождению объекта на картах, и также снижает размерность карт, 
ускоряя время работы сети. 


Принцип его работы похож на функцию свертки. Но здесь не происходит поэлементного 
перемножения матриц, а только лишь выбор максимального значения из заданного окна. Таким 
образом, выделяются ключевые значения в картах, с дальнейшим их занесением в слой 
макспулинга, и тем самым уменьшая количество параметров, что, как говорилось ранее, 
приводит к ускорению вычислений снижая нагрузку на вычислительные блоки. 

На всё той же “УСС16”, вы можете разглядеть этот слой, после каждого слоя свёртки. 

Ну что же, давайте разберемся в работе этого слоя и выработаем алгоритм его решения в 
Руфоп. 

Для этого, по традиции, визуализируем процесс макспула: 


максиул 
= аа 


Сразу что приходит на ум, а как действовать при обратном распространении ошибки через 
этот слой? 

Разумно было бы предположить, что ошибка проходит только через те значения исходной 
матрицы, которые были выбраны максимальными на шаге макспулинга. Остальные значения 
ошибки для этой матрицы будут равны нулю, так как значения по этим элементам не были 
задействованы функцией макспулинга во время прямого прохождения через сеть, а значит они 
никак не повлияли на итоговый результат: 


Обраилное 
расиросилронение 


оилибки 
ар 


Теперь, на этих основаниях, попробуем выработать алгоритмы макспула и обратного 
распространения ошибки через него. Начнем с самого процесса макспулинга: 


рип 'ПРОГОН ВПЕРЕД\№ ') 
пирог те # Для извлечения дробной и целой части 


х22 = пр.агапе($®юК_\*т*и).гезваре(${юК_\, т, т) #выходной слой 
рип "Скрытый слой х22\п', х22) 


Я Пулинг данные 

роо! т = 2 # Размер матрицы ядра пулинга (ДхШ) 

т К 1 роо! = Іп(т/роо! т) # Размерность слоя пулинга (целая часть) 

х22 тахроо| = пр.7егоѕ((5%0К у, т К 1 роо], ш К 1 роо])) # Матрица выходного массива 
пулинга 

х22 е! = пр.тего$((зюК у, т К 1 роо[, т К 1 роо!), ѓуре='<032') # хранит адрес макс 
элемента 


# Операция пулинга 

{ог $ іп гапое(ѕќоК_ №): 

{ог В ір гапое(т К 1 _роо!): 

{ог № ір гапве(т К 1 роо): 

гетр2 = х22[5, №*роо| т:ћ*роо1 т+роо! т, \*роо| т:\*роо| т+роо! т] # Для хранения 
подматрицы с нулевыми и макс знач. 

х22_тахроо[$,В,\] = х22[5, В*роо| т:һ*роо! т+роо!і т, \*роо|_т:\*роо| т+рооі т]. тах() 
# Матрица выходного массива после пулинга 

# Здесь же, в циклах пулинга запоминаем координаты максимальных элементов в своих 
областях 

{ог 1 ір гапее(роо! т): 

Гог ј ш гапее(роо! т): 

І ќетр2[, у] == х22 тахроо[[5,ћ,№]: 

етр3 = ѕ(1+һ*роо! т) + '„ + зи(+\*роо| т) #Запоминаем,через запятую, координаты по 
строкам и столбцам 


х22_е[з, В, м] =ещтр3 


ргіп(('х2_ тахрооІ слойл\а ',х22 тахроо] 
ргіп' Адрес (индекс) максимального элемента х22_е1\п ',х22_е]) 


Здесь, подвергаем макспулу слой “х22”. Результатом операция макспулинга будет храниться 


х сс 


в переменной “х22 тахроо]”. 


Ключевым действием в этой части кода является сама операция макспулинга — іетр2 = х22[5, 
һ*рооІ тћ*роо! т+роо! т, м*роо! тм*роо! т+роо! т] 

х22_тахроо[$,В,\|=х22[$ В*роо|_ т:һ*роо! т+роо! т,у*роо! т:м*роо! т+роо! т].тах(). 
Здесь, при проходе области макспулинга по слою “х2” мы просто находим максимальный 
элемент в локальной области и заносим его в массив слоя макспула. А переменная “іетр2”, 
служит для временного хранения текущей области, чтобы в последующем сравнить её в цикле с 
максимальным элементом в этой области — “ ІЁ етр2|, }| == х22 тахроо$,6,\|:”. Если условие 
выполняется, то сохраняем координаты, в виде строк, через запятую, в переменной “ іетр3”. 
Массив “х22 е” и будет хранить эти координаты. 


Результат работы данного участка программы: 


ПРОГОН ВПЕРЕД: 


Скрытый слой х22: 
[0123] 

[4567] 
[891011] 

[12 13 14 15]] 


[16 17 18 19] 

[20 21 22 23] 

[24 25 26 27] 

[28 29 30 31]]] 

х2 тахрооЇ слой: 
Ш 5. 7.] 

[115] 


[[ 21. 23.] 

[ 29. 31.1] 

Адрес (индекс) максимального элемента х22 еї: 
071,17 '1,3'] 

[3,1 "3,3'] 


Ре] 
[33.5 


Теперь, на основании полученных результатов координат значений максимальных элементов 
в скрытом слое “х22”, выработаем алгоритм обратного распространения ошибки через макспул. 


рип (\п\иПРОГОН НАЗАД\ ') 

#После вычисления ошибки в слое пулинга, распростроняем эту ошибку на слой перед 
пулингом согласно индексам, остальные нули 

# Обнулим ошибки перед пулингом 

е1 = пр.тегоѕ((5(0К_ №, т, т)) 

# Запишем сюда ошибки на пулинге согласно индексам х22_ е] 

х22е тахроо! = х22 тахроо| # Ошибка на слое пулинга 

рии 'Ошибка на слое пулинга х22е тахроо!\п ',х22е_тахроо]) 

{ог $ іп гапое(ѕќоК №): 

{ог В ір гапое(т К 1 _роо!): 

{ог № іп гапре(т_К_1 роо): 

тезий = ге.5ріт'[,]', х22 еЦѕ,һ,№]) # Разбивает строку по разделителю '’ можно сразу 
несколько разделителей 

1 = шЕтеза[о]) 

] = 10(7е5ш 1]) 

е15,1] = х22е тахроо[[,ћ,№] 

рип 'Ошибка на слое перед пулингом е1\а ',е1) 


Здесь, в общих чертах, в нулевой массив ошибки е1, в циклах, по полученным координатам, 
вносим значения из слоя макспул. С помощью библиотеки “те” и её методу “5рШ”, через 
разделитель запятой, поочередно извлекаем из массива “ х22_е| ”, координаты максимального 
элемента. После чего, по полученным координатам, ставим максимальный элемент, на своё 
место в слое ошибки скрытого слоя “е1”. 

Результат работы данного участка программы: 


ПРОГОН НАЗАД: 
Ошибка на слое пуллинга х22е тахроо!: 


Ш 5. 7.] 
[13. 15.]] 


[[ 21. 23.] 

[ 29. 31. ] 

Ошибка на слое перед пулингом е1: 
ШО. 0. 0. 0.] 

ГО. 5. 0. 7.] 

[0. 0. 0. 0.] 

[0. 13. 0. 15. 


10. 0. 0. 0.] 
[9.21023] 
[0.9.0.0] 

[0. 29. 0. 31.1]] 


Остается проверить наш алгоритм на практике. Для этого реализуем в Рућоп следующую 
структуру: 


Полносвязный 
Скрыилый слой ИИТ манан 
24х24х9 
Ядра РРР кана Выходной 
Входной слой 5х5х9 слой 
10 


28х28х1 


Преодразование 8 
одномерный 
вериликальный 
массив 


Код программы: 

ппрой патру аѕ пр 

# библиотека для вывода на консоль массивов 

1тротїі таѓріоШЫ.рурІоѓ 

# убедитесь, что участки находятся внутри этой записной книжки, а не внешнего окна 
Фтафрю И іпіпе 

#рЕ.зВо\() # Вместо Утафрю ИФ іпіпе в других средах, не поеБоок 
Кот бте ппрой бте, ѕ51еер #Для замера времени выполнения функций 
Кот ёт ппрой а4т #Для вывода прогрессавычисления функций 

# ојоб помогает выбрать несколько файлов, используя шаблоны 
ппрой ојоБ 

# помощник для загрузки данных из файлов изображений РМС 

ппрой ѕсіру.тіѕс 

пирог те # Для извлечения дробной и целой части 


# Загрузить 11115 тренировочные данные в формате СЗУ 

паште_Ааба_Ёе = ореп("ММ$Т_даазе/ тит _@ат_100.сзу", 'т) # 'г- открываем файл для 
чтения 

гаіпіпо Ӣаѓа 1150 = (таїпіпо даѓќа Ёе.геааіпеѕ() # геайіпеѕ() — читает все строки в файле в 
переменную Нашше_Даа_ 1151 

пашшто_Даа_Ее.с1озе() # закрываем фаел сѕу 


Я Определение класса нейронной сети 
с1а5$ пеигоп_ М: 


# инициализация нейронной сети 
4е= ши (ѕе прис пит, Һадеп пит тахри пит,  обфие пит, еагпіпогаѓе): 
#констр.(входной слой, скрытый слой, макспул, выходной слой) 


зе. т = 28 #Размер входного массива(ДхШ) 

ѕеіЁК = 5 #Размер весов (ДхШ) 

зеЁли_К_1 = (ѕеіЕ. т-ѕеі.К)+1 

зе. юК үу = 9 #Число ядер свертки (весов) 

зе. юЪ_ ү = ѕеі Е. к*ѕе к #Количество элементов 1го ядра свертки 

зеЁ@.х1 = пр.тегоѕ((ѕеіѕіок у, ѕеі ёт К 1, зеЁт К 1)) #Массив скрытого слоя 


Я Пулиинг данные 

зеЁ.роо| т =2 # Матрица ядра пуллинга 

зеЁлт К 1 роо! = шКзеЁт К_1/3еЁроо| т) # Размерность слоя пуллинга 

ѕеіЁ һадеп очфрив тр = пр.7етоз((зе .зюК у, ѕе Ёт К 1 роо], зеЁ. т К 1 роо])) # Массива 
пулинга 

зе .51А4еп_очири_е] = пр.7егоѕ((ѕе1.$(0к у, ѕе т К_ 1 роо], зе [.м_К_1_роо), 4уре='<03?2') 
# хранит адрес макс. элемента 


#Для вывода карт свойст скрытого слоя 

зе. Шааеп оџѓриќѕ_ таве = пр.тегоѕ((ѕ5е .ѕїок у, зе. т К 1, зе т К 1)) 

# МАТРИЦЫ ВЕСОВ 

ѕеҒ.ууеіоһѕ = пр.гапаот.погта(0.0, ром(ѕеі.ѕїоЬ х, -0.5), (ѕе . 5(0к ху, зеР.К, ѕеі. К)) 

зе. ууе1оһѕ_ош = пр.гап4от.погта[(0.0, ром(тахри пит, -0.5), (ошри пит, тахрш пит)) # 
После пуллинг слоя 


# скорость обучения 
ѕеІЕ.1с = Іеагпіпогаќе 


# функция активации-функция сигмоида 
зеЁ.асйуаНоп_Гипсйоп = Јатбаа х: ѕсіру.ѕресіаІ.ехріб(х) 


раѕѕ 


# обучение нейронной сети 


ЧеЁ шгаш(зеР, 1приќѕ_ |15, (агоеіѕ |150): # принемает входной список данных, ќагоеіѕ ответы 
# Преобразовать список входов в 2) массив 
шри_х = пр.атау( три _115.гезваре(5еР.т , зеЁ.тп)) # матрица числа 


{агое5 Ү = пр.аггау(ќагреіѕ 1151, патш=2).Т # матрица ответов какое это число 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ ПО СЛОЯМ 

# вычислить сигналы в скрытом слое (матрица сигналов скрытого слоя) 
Гог $ ш гапое(ѕе!іЕ.5{оК №): 

ог В ір гапое(зе.т_К_1): 

ог № ір гапое(ѕеі т К. 1): 

ѕе.х1[5,һ,№] = пр.зат (три _х[:В+5е.К, у№-+5е1. К] * ѕе хуеіоһѕ[5]) 


# вычислить сигналы, возникающие из скрытого слоя. 
УІ = ѕе.асібуайоп Ёопсбоп(ѕеІЕ х1) #Сигмоида 


# Макспуллинг 

Гог $ іп гапое(зеН. юК_\м): 

ог һ ір гапое(зеР.т_К_1_роо]: 
{ог № іп гапое(ѕЅе К. т К 1 роо): 


гетр2 = УЦ, һ*ѕе1.роо! т:һ*ѕе1 роо! т+ѕе роо! т, 
у\’*зеЁ.роо|_т:\*5еЁ.роо! т+ѕе1С.роо! т] # Для хранения подматрицы с нулевыми и макс знач. 
ѕеІҒ. Һааеп ошіриѓѕ_тр[5,ћ,№] = У1[5, һ*ѕеІ ғ роо! т:В*зеШ.роо] т+ѕеі роо! т, 


у\*зеЁ.роо|_т:\*5еЁ.роо! т+ѕе1 роо! т]. тах() # Матрица массива пулинга 
ог 1 ір гапре(ѕеІ роо] т): 
Гог ј іп гапре(ѕеІ роо] т): 
І ќетр2[і, ]] == зе. Шааеп оџриѓѕ__тр[5,ћ,№]: 
(етр3 = ѕіг(1+һ*ѕеј роо! т) + ',' + зам зеР.роо| т) 


зе. адеп оџоѓриќѕ_е[5, В, №] = етр3 


# вычислить сигналы в окончательный выходной слой (матрица сигналов выходного слоя) 

х2 = пр.ӣођ(ѕеіЕ уе ои, пр.аггау(ѕеІЁһааеп оџёриіѕ тр.Паќеп(), патіп=2).Т) # сигнал 
вых.слоя = вес скр. слоя * значение сигнала скр.слоя 

# вычислить сигналы, исходящие из конечного выходного слоя 

у2 = ѕе.асбуабоп Ёопсбоп(х2) # Сигмоида 


# ВЫЧИСЛЕНИЕ ОШИБКИ ПО СЛОЯМ 

# ошибка выходного слоя является (цель — фактическое) 
Е = -((агоеѕ_Ү – у2) 

# Скрытая ошибка слоя макспулинга 


Һааеп егтотѕ тр = пр.до зе. умею оо Т, Е) # Одномерный, вертикальный 
Һааеп еггогѕ тр = ѕеІЕ. һааеп ошіри(ѕ_тр.геѕһаре(ѕе1.$(0к №, зе. т К 1 роо], 
зеЁ.т_К_1_роо]# 3р 


# Обнулим ошибки перед пулингом 

Е Һайеп = пр.7егоѕ((ѕеі (ок у, зе .т_К_1, ѕеЁ т К 1)) 

Гог $ ш гапое(ѕе!іЕ.5{оК №): 

ог һ ір гапое(ѕе т К 1 роо): 

{ог № ш гапее(зе Ё т К 1 роо): 

теѕи = ге.ѕріі(т'[,]', ѕеі.Һадеп ошршѕ_е1[5,һ,№]) # Разбивает строку по разделителю ',' можно 
сраху несколько разделителей 

1 = шЕтеза[о]) 

] = тез 1]) 

Е Һайеп(,1,)] = Һадеп еггогѕ_трү[5,һ,№] 


# ОБНОВЛЕНИЕ ВЕСОВ ПО СЛОЯМ 

# обновления весов связей между скрытым пуллинг слоем и выходным слоями 

зеЁ. ме _оиё -= зе г * пр.аоќ(Е * у2 

* (1.0 — у2)), пр.гапзрозе(пр.аггау(зе К. АЧеп_оирив_тр.Накеп(), патш=2).Т)) # Сигмоида 


# обновления весов связей между входным и скрытым слоями 

{ог $ іп гапое(зеН. $(0К №): 

ог һ ір гапое(ѕеі. К): 

{ог № ш гапее(5е Г.К): 

шри_ = 1приѕ х[һ+ѕеі Е т К 1, мм+ѕе т К 1] 

приќѕ_( = пр.Иркаприв 0 

11риќѕ Е = пр.ћіроа(при(ѕ 0 

зе. ууеіоћѕ[5, В, м] -= пр.ѕит(Е Һайеп[ѕ] * іприбѕ Е * зе. 10) #Для софтмакс и без функции 
активации и ВВЕ) на выходе 


#Запоминаем карту свойст скрытого слоя перед пулингом для просмотра 
зе[.А4еп_ои ри _ппазе = у1 
раѕѕ 


# МЕТОД ПРОГОНА СВОИХ ЗНАЧЕНИЙ ПО СЕТИ 

# запросить нейронную сеть 

аеғ диегу(5е К, іприќѕ__ 1150: # Функция прогонки по слоям своих данных. Принемает свой набор 
тестовых данных 

# Преобразовать список входов в 2) массив 

при х = пр.атау( три 115.геѕһаре(ѕеЁ т , зеЁлп)) # матрица числа 


# вычислить сигналы в скрытом слое (матрица сигналов скрытого слоя) 
{ог $ іп гапое(зеН. 5(0К №): 


Гог В ш гапзе(зет_К_1): 
Гог № ш гапое(ѕеі т К 1): 
ѕе.х1[5,һ,№] = пр.ѕ5шт(1приѕ__х[ћ:ћ+ѕе1Е.К, уле. К] * зе. ме [$] ) 


# вычислить сигналы, возникающие из скрытого слоя. 
УІ = зеР.асйуаНо п_Рапсйоп(зеР.х1) #Сигмоида 


# Макспуллинг 

Гог $ ш гапое(ѕе!Е.5{оК №): 

ог һ ір гапое(зеР.т_К_1_роо]: 
{ог № ір гапое(ѕеі Е. т К 1 роо): 


гетр2 = УЦ, һ*ѕе1ғ.рооІ т:һ*е1Ғ. роо! т+ѕе роо! т, 
у*ѕе роо! п:у*ѕе1.роо! т+ѕе1 роо! т] # Для хранения подматрицы с нулевыми и макс знач. 
зе. Һааеп ошіриѓѕ_тр[5,ћ,№] Е= У1[5, һ*ѕе1. роо! т:һ*ѕе1 роо! т+ѕе роо! т, 


ме .рооі т:уѕе1. роо! т+ѕеІ#рооі т]. тах() # Матрица выходного массива после пулинга 
ог 1 іп гапре(ѕеІ роо] т): 
Гог ј іп гапре(ѕеІ роо] т): 
І ќетр2[і, ]] == зе. Шааеп оџриѕ__тр[5,ћ,№]: 
(етр3 = ѕіг(1+һ*ѕеј роо! т) + ',' + зам зеР.роо| т) 


зе. адеп ооёрисѕ_е[ѕ, В, м] =етр3 


# вычислить сигналы в окончательный выходной слой (матрица сигналов выходного слоя) 

х2 = пр.ӣођѕеіЕ уе ои, пр.аггау(ѕеІЕһааеп ори тр.Паќеп(), патіп=2).Т) # сигнал 
вых.слоя = вес скр. слоя * значение сигнала скр.слоя 

# вычислить сигналы, исходящие из конечного выходного слоя 

у2 = ѕе.асбуабоп Ёопсбоп(х2) # Сигмоида 


геішт у2 


# количество входных, скрытых и выходных узлов 
ааѓа іприѓ = 784 

ааѓа_ Һааеп = 5184 

ааѓа_ тахрш = 1296 # 24/2 * 24/2 * 9 

ааѓа ошри = 10 


# скорость обучения 
Іеагпіпогаќе= 0.008 


Я Создать экземпляр нейронной сети 
п = пеогоп_Ме(Чаа_троф ааѓа Һаеп, Чаа_тахру ааѓа оџёри, Іеагпіпогаѓе) 


# ОБУЧЕНИЕ 
# Зададим количество эпох 
еросћѕ = 10 


ѕќагі = теб) 

# Прогон по обучающей выборке 

{ог е ш гапое(еросћ): 

# Пройдите все записи в наборе тренировочных данных 

##ог гесога іп (гаіпіпо даѓа_ 115: 

ог 1 ш ічат(ігаіпіпо Яаѓа |151, Чезс = 50(е+1)): # а4т — используем интерактив состояния 
прогресса вычисления 

# Получить входные данные числа 

а] уаіџеѕ = 1.5рі(",) # 5рі',) — раздел строку на символы где запятая 

# Массив данных входа с масштабированием от 0,01 до 0,99 

шриз_х = (пр.азРатау(аП уаюез[1:])/ 255.0 * 0.99) + 0.01 # Игнорируем нулевой индекс, где 
целевое значение 


ин 


‚ символ разделения 


# Получить целевое значение У, (ответ – какое это число) 


{агое5 Ү = шКа| уаіоеѕ[0]) # перевод символов в іпі, 0 элемент — целевое значение 


# создать целевые выходные значения (все 0.01, кроме нужной метки, которая равна 0.99) 
Гагое(ѕ_Ү = пр.7егоз$(дайа_ои фри + 0.01 


# Получить целевое значение У, (ответ — какое это число). а] уаез[0] — целевая метка для 
этой записи 
(агое _У[пКаП_уаез$[0])] = 0.99 


п.ігаіп(1приќѕ_х, {агое{з_У) # наш метод тат — обучение нейронной сети 


раѕѕ 
раѕѕ 


шпе_ооѓ = штпе() — “аи 
ргііп({"Время выполнения: ", ште ош, " сек" 


# Загрузить СЗУ-файл данных теста 1111151 в список 

(е5(_Чаа_Ре = ореп(" ппп1$ _ЧабазеИ тли ѓеѕі 10.с5у", 'Г) # т – файл для чтения, а не для 
записи. 

{е5_аба_ 131 = іеѕі дага Ве. геайіпеѕ() # геайіпеѕ() — читает все строки в файле в переменную 
еѕі Чаба_1$( 

{е5_Чаа_Не.с1озе()) # закрываем фаел сѕу 


# ПРОВЕРКА ЭФФЕКТИВНОСТИ НЕЙРОННОЙ СЕТИ 
# Массив показателей эффективности сети, изначально пустой 
еЁсіепсу = [] 


# Прогон по всем записям в наборе тестовых данных 

#ог 1 іп (еѕЅі ааќа |5: 

Ѓог1 іп (ат(ќеѕі даѓа 150): 

# Получить входные данные числа 

а] уајџеѕ = 1.5рі(',) # зрМС,') – раздел строку на символы где запятая 

# Правильный ответ, хранимый в нулевом индексе 

Гагоеіѕ_Ү = 10411 уаІоеѕ[0]) 

# Массив данных входа с масштабированием от 0,01 до 0,99 

іприќѕ х = (пр.аѕѓатгау(а] уаез[1:]) / 255.0 * 0.99) + 0.01 # Игнорируем нулевой индекс, где 
целевое значение 


ин 


‚ символ разделения 


Я Запросить ответ у сети 

оџёриќѕ у = п.ацегу(три в х) # Прогон по сети тестового значения из нашего файла 

# Индекс самого высокого значения на матрице выхода, соответствует метке числа 

1абе| у = пр.аготах(оџіршѕ у) # аготах возвращает индекс максимального элемента в 
выходном массиве 


# Добавить правильный или неправильный список 

И (абе! у == (агоеіѕ_Ү): # Если индекс макс. знач. на выходе = целевому значению (0 индекс 
массива данных) 

# Если ответ сети соответствует целевому значению, добавляем | в конец массива 
показателей эффективности 

еРйслепсу.аррепа(1) 

ебе: 

# Если ответ сети не соответствует целевому значению, добавляем 0 в конец массива 
показателей эффективности 

еЁйслепсу.аррепа(0) 


раѕѕ 
раѕѕ 


# Вычислить оценку производительности. Доля правильных ответов 
еЁйслепсу_тар = пр.аѕаггау(еЁћсіепсу) # аѕаггау — преобразование списка в массив 


рип ('Производительность = ', (е ісіепсу тар.ѕшт() / еРЯслепсу тар.517е)*100, "%') # Среднее 
арифметическое 


# Данные изображения в ядрах свертки 

# получить данные изображения с индексом "0". Для крупного масштаба. 
ппасе_у1 = п.меоћѕ [0] 

# вывод данных изображения участка с индексом "0". 

тафю.рурю(. ппзво\(итазе_у1, стар='Отеуз', пегро!айоп='Мопе") 


бо = тафюШЬ.рурю.Яхиге( 15$ 12е=(10,6)) 

Юг ] ш гапое(9): 

ах = Не.а44_зи6рюКЗ, 3, ј+1) 
ах.1тѕһом(п.ме1оһ |], 
стар=таіріо6.ст.біпагу, іпіегројабйоп= попе") 
тафюШ.рурю.хисК$(пр.аггау([])) 

тафю Ш .рурю.уйсК$(пр.аггау([])) 
тафю.рурю(.$Во\() 


# Данные изображения в признаках(в сврточном слое) 

# получить данные изображения с индексом "0". Для крупного масштаба. 

ппасе у1 = п.МА4еп ошри6 паре[0] # Карта запомнила последний тренировочный пример 
при обучении сети! 

# вывод данных изображения участка с индексом "0". 

тафю.рурю(. пазво\(итазе_у1, стар='Отеуз', іпіегроіабоп='№опе") 


бо = тафюШЬ.рурю.Яхиге( $ 12е=(10,6)) 
Гог] іп гапое(9): 

ах = ће.ааа ѕибріо((3, 3, +1) 
ах.і1тѕһом(п.Һадеп оориѕ_ітаре[)], 
стар=таіріо@6.ст.біпагу, іпіегројабйоп= попе") 
тафюШЬ.рурю.хисК$(пр.аггау([])) 
тафюШ.рурю.уйсК$(пр.аггау([])) 
тафюШ.рурю(.$Во\/() 


# Данные изображения в признаках(слой макспул) 

# получить данные изображения с индексом "0". Для крупного масштаба. 

паре у| = п.ћааеп оџіриіѕ тр[0] # Карта запомнила последний тренировочный пример при 
обучении сети! 

# вывод данных изображения участка с индексом "0". 

тафю.рурю(. ппзво\(итазе_у1, стар='Отеуз', Іпіегроіабоп='№опе") 


Вэ = тафюШЬ.рурюЕ.Яхиге( 1$ 12е=(10,6)) 

Гог ] іп гапое(9): 

ах = ћо.ааа ѕиЬріо((3, 3, ј+1) 
ах.1тѕһом(п.Һааеп ооёриѕ_трү[], 
стар=таіріо@6.ст.біпагу, іпіегројайоп= попе") 
тафрюШЬ.рурю1.хисК$(пр.аггау([])) 
таѓріоЬ.рурІоѓ.убсКкѕ(пр.аггау([])) 
таѓріоЫ.руріІоё.$һом() 


Результат работы программы: 


Производительность = 60.0 % 


Данные изображения в ядрах свертки: 


Данные изображения в признаках (в свёточном слое): 


Данные изображения слое макспул: 


0 2 Е 6 8 10 


Чтобы избавиться от томительного ожидания обучения сети, я тренировал её на данных всего 
из ста выборок. 

Производительность, из-за малого количества слоев, упала. Это произошло потому, что 
макспул слой не может выявить значимые признаки из первого свёрточного слоя, сразу подавая 
их на выходной слой. Для увеличения производительности с применением макспул слоёв, 
необходимо значительно увеличить количество скрытых слоев. Но опять же, главное в том, что 
мы убедились, что наши алгоритмы работают. 


Функция активации ЗоЙтах (софтмакс) 

В приведённой выше, структуры сети “УСС 16”, можем видеть не знакомую нам функцию 
активации, а именно — “ ЗоЙтах”. Давайте посмотрим, что она из себя представляет. 

ЗоЁтах — преобразует вектор 7 размерности ј в вектор у той же размерности, где каждая 
координата уі полученного вектора представлена вещественным числом в интервале [0,1] и 
сумма этих координат равна единице. 

Координаты уі полученного вектора при этом трактуются как вероятности того, что объект 
принадлежит к классу 1 Благодаря этим свойствам, функцию активации софтмакс, в 
подавляющем большинстве случаев, применяют в выходном слое нейронной сети. 

Координаты уі вычисляются следующим образом: 


ИГ р 
94 в. 
2 ел 
Ј=2. 
21 = (хіх) 


Ошибка слоя софтмакс: 


и 
Е= = #04 Чі 

]=1 
# - целевое значение выхода сели 
4! - реальное значение выхода сели 


[04 - наилуральный логорифм (по основанию "е" 


Градиент по одной из выходных размерностей или нейрону: 


аі 44} аі ; 


а4іј 44} 9) 
и 
е?! 2.2 гай #7 о 
ауі 22 ае о 
—— = 77 = 91 (2-4!) ‚ ил.к а н 
ді . 
(2.2) 
]=1 , 
1 Ее Чил, ил.К еи О (соиѕ = О) 
ил 


[Я 
-— 41 (1-4) =- 6 (2-00), если ј=і 


ег” бы 
аі 89] ан ТЕТ) на... -). если #1 


ЧЕ АЕ ац) 
22.52 50. > Чі - 6 (1-4) = - 6 +619і+91 Е: 2 
аі у 909ј ад др дн 
= - 6+ 91 (+ + 2 ч) 
луи 


Так как сумма отдельного выхода уі с остальными значениями (кроме уі) дает единицу, то 
имеем: 


Градиент по связям: 


Применять данную функцию, в целях экономии времени вычислений и лучшей наглядности, 
на свёрточной сети я не буду. Рассмотрим её применение, на сети с полносвязными слоями, 
которую мы рассматривали в седьмой главе. В ней, функцию софтмакс поместим на выход сети, 


а активационной функцией скрытого слоя будет КЕГО. Распознавать будем всё тот же набор 
данных “ММУТ”. 


Полный текст программы: 

ппрой патру аѕ пр 

# библиотека для вывода на консоль массивов 

пирог таѓріоШЫ.рурІої 

# убедитесь, что участки находятся внутри этой записной книжки, а не внешнего окна 
Фтафрю И іпіпе 

#рІ.ѕһох() # Вместо таро тіпе в других средах, не поѓеБооКк 

Кот бте ппрой бте, 51еер #Для замера времени выполнения функций 


Кот ат пирог а4т #Для вывода прогрессавычисления функций 
# ојоб помогает выбрать несколько файлов, используя шаблоны 
пирог ојоБ 

# помощник для загрузки данных из файлов изображений РМО 
пирог ѕсіру.т15с 


# Загрузить 11115 тренировочные данные в формате СЗУ 

ігаіпіпо_ даѓќа #е = ореп("ММЗ$Т_даазе/ тли (гаіп.сѕу", 'г)#'г — открываем файл для чтения 

паштте_Ааба_15( = (таїпіпо даѓа Ёе.геааіпеѕ() # геайіпеѕ() — читает все строки в файле в 
переменную Наште_4ава_ 1131 

ігаіпіпо даѓа #е.сІоѕе() # закрываем фаел сѕу 


# Определение класса нейронной сети 
с1а5$ пеигоп_ Ме: 


# Инициализация весов нейронной сети 

ег _ ши (зе, шриё пит, пеигоп_ пит, оџіри пит, Іеагпіпогаѓе): #констр.(входной слой, 
скрытый слой, выходной слой) 

# МАТРИЦЫ ВЕСОВ 

# Задаем матрицы весов как случайное 

ѕеҒ.ууеіоһіѕ = пр.гапаот.погта[(0.0, ром(їпри пит, -0.5), (пеогоп пит, шри_пии)) 

зеЁ. ме {5 ои = пр.гапаот.погтак0.0, ром(пеогоп пит, -0.5), (ошрш пит, пеџгоп_ пит)) 

# Можно задать веса таким образом 

зе. \уею0 5 = (питру.гапаот.гапа(пешгоп_ пит, іприі пит) -0.5) 

зе. \уе1ю0 5 ош = (питру.гапаот.гапа(оџірш_ пит, пеигоп_пит) -0.5) 


# скорость обучения 
ѕеІЕ.1с = Іеагпіпогаѓе 
раѕѕ 


# Обучение нейронной сети 

ЧеЁ иаш(зе!, при _156, ѓагоеіѕ_ 51): # принемает входной список данных, іагоеіѕ ответы 
# Преобразовать список входов и ответов в вертикальный массив. .Т — транспонирование 
приб х = пр.атау(три 115% патш=2).Т # матрица числа 

(агоеіѕ Ү = пр.аггау(ќагоеіѕ 1151, патш=2).Т # матрица ответов какое это число 


# ВЫЧИСЛЕНИЕ СИГНАЛОВ ПО СЛОЯМ 
# Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 
х1 = пр.ӣо((ѕеЇЁ. ме, шриз_х) # йо – умножение матриц Х = №*] = уеюй 6 * іприќѕ 


Я вычислить сигналы, возникающие из скрытого слоя. КЕГО 


УІ = пр.тахипит(х1, 0) # КЕГО 


# вычислить сигналы в окончательном выходном слое (матрица сигналов выходного слоя) 
х2 = пр.4оКзеН. меоһѕ ои, у1) 

# вычислить сигналы, исходящие из конечного выходного слоя. Зойтах 

у2 = пр.ехр(х2)/пр.ѕшт(пр.ехр(х2), ахіѕ5=0) # Ѕойтах 


# ВЫЧИСЛЕНИЕ ОШИБКИ ПО СЛОЯМ 
# Ошибка выходного слоя 

Е = у2 — (агоеіѕ Ү 

# Ошибка скрытого слоя 

Е Һайеп = пр.ао((ѕеї уееһіѕ оо Т, Е) 


# ОБНОВЛЕНИЕ ВЕСОВ ПО СЛОЯМ 
# Меняем веса исходящие из скрытого слоя по каждой связи 
зеЁ.\/е1ю {5 _оиё -= ѕеЁ.1г * пр.аоќ(Е), пр.ігапѕроѕе(у1)) # Зойтах 


# Меняем веса исходящие из входного слоя по каждой связи 
ѕе.ууеіоһћіѕ -= зе г * пр.ао((Е Њааеп * (у1 > 0)), пр.гапзрозе(трив_х)) # КЕ0О 
раѕѕ 


# МЕТОД ПРОГОНА СВОИХ ЗНАЧЕНИЙ ПО СЕТИ 

# Метод прогона тестовых значений 

аеғ адчегу(зе!Р, шриз_1$0: # Принимает свой набор тестовых данных 
# Преобразовать список входов в вертикальный массив. 

шриб_х = пр.атау(приз_1$6 патш=2).Т 


Я Вычислить сигналы в нейронах скрытого слоя. Взвешенная сумма. 

х1 = пр.ӣо((ѕеЇЁ. ме, приз х) # 40+ умножение матриц Х = \/*1 = уеюй 6 * іприќѕ 
Я вычислить сигналы, возникающие из скрытого слоя. КЕЈ 

УІ = пр.тахтит(х1, 0) # КЕГО 


# вычислить сигналы в окончательном выходном слое (матрица сигналов выходного слоя) 
х2 = пр.4оКзе[. ме _оиь у1) 

# вычислить сигналы, исходящие из конечного выходного слоя. Зойтах 

у2 = пр.ехр(х2)/пр.ѕшт(пр.ехр(х2), ахіѕ5=0) # Ѕойтах 

теги у2 


# ЗАДАЁМ ПАРАМЕТРЫ СЕТИ 


Я Количество входных данных, нейронов 
ааѓа іприѓ = 784 

ааќа пешгоп = 220 

ааѓа ошри = 10 


# Скорость обучения 
Іеагпіпогаѓе = 0.01 


# Создать экземпляр нейронной сети 
п = пеџгоп М№е((аѓа іприё, Ӣаѓќа пеџгоп, йаѓа оџриї, Іеагпіпогаѓе) 


# ОБУЧЕНИЕ 
# Зададим количество эпох 
еросћѕ = 1 


аи = ите( 

# Прогон по обучающей выборке 

Юге ш гапее(еросћ): 

# Пройдите все записи в наборе тренировочных данных 

# от гесога іп (гаіпіпе даѓа_ 115: 

ог 1 ш ічат(ігаіпіпо ааѓа |151, Чезс = 50(е+1)): # діт — используем интерактив состояния 
прогресса вычисления 

# Получить входные данные числа 

а] уајџеѕ = 1.5рі(',) # $=рі(',) – раздел строку на символы где запятая 

# Массив данных входа 

іприќѕ х = (пр.а5Ёитау(аЙ уа1џеѕ[1:])/ 255.0) # Игнорируем нулевой индекс, где целевое 
значение 


ин 


‚ символ разделения 


# Получить целевое значение У, (ответ — какое это число) 


{агое5 Ү = шКа уаез[0]) # перевод символов в Ш 0 элемент – целевое значение 


Я создать целевые выходные значения 
(агое(ѕ_Ү = пр.7его$(даа_орий) 


# Получить целевое значение У, (ответ — какое это число). а] уаез[0] — целевая метка для 
этой записи 
Гагоеіѕ_Ү[іп1(а11 уаіџеѕ[0])] = 1 


п.ігаіп(1приќѕ_х, {агое{з_У) # наш метод тат – обучение нейронной сети 


раѕѕ 
раѕѕ 


шпе ош = шпе() — “аи 
ргііп("Время выполнения: ", ие ош, " сек" 


# ТЕСТИРОВАНИЕ ОБУЧЕННОЙ СЕТИ 

# Загрузить тестовый СЗУ-файл 

еѕі дага Ве = ореп("ММ$Т_даазе ти (еѕ(.сѕу", 'т) # т — открываем файл для чтения 

{е5(_Чаа_ 131 = (ез_4аа_ЕПе.теад Ппез() # геай1іпеѕ() — читает все строки в файле в переменную 
(еѕі_даѓа 11 

еѕі дага ЁІе.сІоѕе() # закрываем файл сѕу 


# ПРОВЕРКА ЭФФЕКТИВНОСТИ НЕЙРОННОЙ СЕТИ 
# Массив показателей эффективности сети, изначально пустой 
еЁћсіепсу = [] 


# Прогон по всем записям в наборе тестовых данных 

Ѓог1 ір (еѕї ааѓа |15: 

# Получить входные данные числа 

а] уаіџеѕ = 1.5рі(',) # 5=рі(",) — раздел строку на символы где запятая "," символ разделения 

# Правильный ответ, хранимый в нулевом индексе 

Гагоеіѕ_Ү = 10411 уаІоеѕ[0]) 

# Массив данных входа 

іприќѕ х = (пр.аѕЃаггау(а уаез[1:]) / 255.0) # Игнорируем нулевой индекс, где целевое 
значение 


Я Запросить ответ у сети 

оџёриќѕ у = п.ацегу(три в х) # Прогон по сети тестового значения из нашего файла 

# Индекс самого высокого значения на матрице выхода, соответствует метке числа 

ІаБе1 у = пр.аготах(ооџіриѕ_у) # аготах возвращает индекс максимального элемента в 
выходном массиве 


# Добавить правильный или неправильный список 

И (абе! у == ‘агоев _У): # Если индекс макс. знач. на выходе = целевому значению (0 индекс 
массива данных) 

# Если ответ сети соответствует целевому значению, добавляем 1 в конец массива 
показателей эффективности 

еРИслепсу.аррепа(1) 

ебе: 


# Если ответ сети не соответствует целевому значению, добавляем 0 в конец массива 
показателей эффективности 

еРИслепсу.аррепа(0) 

раѕѕ 

раѕѕ 


# Вычислить оценку производительности. Доля правильных ответов 
еҝсіепсу тар = пр.аѕаггау(еЁћсіепсу) # аѕаггау — преобразование списка в массив 


рип ('Производительность = ', (еЁісіепсу тар.ѕшт() / еісіепсу тар.ѕ12е)* 100, "%') # Среднее 
арифметическое 

Результат работы программы: 

Производительность = 96.01 % 


ЭПИЛОГ 


Надеюсь, мне удалось дать базовые знания о работе искусственных нейронов и нейронных 
сетей. Хочется верить, что мне удалось, доступно для понимания, продемонстрировать теорию 
нейронных сетей, и объяснить, что в их основе нет ничего сложного. 

Возможно данная книга пробудит в вас интерес к дальнейшему изучению нейронных сетей, 
их разновидностям и методам обучения. Если она кого-то побудит к дальнейшей работе в этом 
направлении - значит моя цель достигнута. 


